求助用VBA提取网页数据

mfz1975

求助用VBA提取网站的公示的所在乡(镇)，所在村组，购机者姓名，机具品目，生产厂家，产品名称，购买机型，购买数量(台)，经销商，单台销售价格(元)，单台补贴额(元)，总补贴额(元)，状态等信息

duquancai

四千六百多页 ！！！采用异步吧！！！

abc123281

楼上大神应该是个网抓高手   期待大神的答案   借此机会也学习一下网抓

changhong8

这网站响应太慢了，三四秒才加载出来

719404338

太慢了，20页，要几分钟。

duquancai

abc123281 发表于 2019-1-19 22:54
楼上大神应该是个网抓高手   期待大神的答案   借此机会也学习一下网抓

1. # -*- coding: utf-8 -*-
   
2. # version: Python 3.7.0
   
3. import requests, re
   
4. from lxml import etree
   
5. 
   
6. session = requests.Session()
   
7. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"}
   
8. 
   
9. def get_html(url, post_data):
   
10.         with session.post(url=url, data=post_data, headers=headers) as res:
    
11.             parse_html(res.text)
    
12. 
    
13. def parse_html(text):
    
14.     #这里解析数据！！！
    
15.     tree = etree.HTML(text)
    
16.     trs = tree.xpath('//tbody[@id="list-pub"]/tr')
    
17.     for tr in trs:
    
18.         tdlist = [x.xpath('./text()')[0].strip() for x in tr.xpath('./td')]
    
19.         print(tdlist)
    
20. 
    
21. def main():
    
22.     htm_str = session.get('http://218.12.43.28:2018/pub/gongshi', headers=headers).text
    
23.     token = re.search(r'(?s)<input name="__RequestVerificationToken".*?value="([^"]+)"', htm_str)
    
24.     pages = re.search(r"<a href='/pub/gongshi\?pageIndex=(\d+)'>>>", htm_str)
    
25.     if pages and token:
    
26.         #动态获取总页数：共计4686页,print(pages.group(1))
    
27.         base_url = 'http://218.12.43.28:2018/pub/GongShiSearch'
    
28.         for p in range(1, int(pages.group(1)) + 1):
    
29.             url = '{}?pageIndex={}'.format(base_url, str(p))
    
30.             post_data = {'__RequestVerificationToken': token.group(1)}
    
31.             get_html(url, post_data)
    
32.             break
    
33. 
    
34. if __name__ == '__main__':
    
35.     main()

复制代码

chentonny

请看代码和效果

chentonny

20页，用时66秒。

chentonny

试了几次，20页大概65-70秒，3-4秒一页。

mfz1975

duquancai 发表于 2019-1-20 01:34

感谢大神的帮助