关于网址内容抓取

qjy321

https://www.eshukan.com/SuperSearchList.aspx?keyword=&classify=0&wenZhong=-1&kanQi=0&area=0&level=0&heXin=0&puKan=0&first=0&countrySupport=0&college=0&yxyz=0&hornor=0&contentIncluded=0&doubleAnonymous=0&comment=0&gaoFei=0&banMianFei=0&banMianFeiArea=0&shenGaoTime=-1&hot=-1&method=Email%E6%8A%95%E7%A8%BF  


哪位高手，帮忙写一款用于抓取该网址投稿邮箱地址和名称的代码

65861954

名称的代码是什么？

65861954

import requests
from lxml import etree
page = 1
url = "https://www.eshukan.com/SuperSearchList.aspx?keyword=&classify=0&wenZhong=-1&kanQi=0&area=0&level=0&heXin=0" \
      "&puKan=0&first=0&countrySupport=0&college=0&yxyz=0&hornor=0&contentIncluded=0&doubleAnonymous=0&comment=0" \
      "&gaoFei=0&banMianFei=0&banMianFeiArea=0&shenGaoTime=-1&hot=-1&method=Email%E6%8A%95%E7%A8%BF"
responese = requests.get(url)
html = etree.HTML(responese.text)
# 获取本页的所有投稿信息网址
urls = html.xpath('//*[@id="allclass"]//a/@href')
for url in urls:
    print(url)

65861954

这个网站没有任何反爬很简单。

65861954

先爬取了10页的自己看看

沈默00

邮箱是从哪里找？

65861954

沈默00 发表于 2024-5-3 07:37
邮箱是从哪里找？

就在网页元素里面。要进入下一级网页。

qjy321

65861954 发表于 2024-5-1 21:40
名称的代码是什么？

就是投稿的编辑部和投稿邮箱。要是单独把这两项提取出来就好了

qjy321

沈默00 发表于 2024-5-3 07:37
邮箱是从哪里找？

邮箱从各投稿编辑部的下级网页的   给编辑部投稿--> Email投稿中提取

qjy321

65861954 发表于 2024-5-1 22:05
import requests
from lxml import etree
page = 1

就是要提取下级网页这两个地方：编辑部和邮箱