用VBA按网页下拉框指定期号抓取所需内容

WYS67

开奖历史 下拉框.zip (644.3 KB, 下载次数: 15)

2018-12-1 12:20 上传

点击文件名下载附件

江苏快三开奖历史数据.zip (11.9 KB, 下载次数: 23)

2018-12-1 12:21 上传

点击文件名下载附件

请教高手大神们：想按附件E列的说明和要求，抓取指定网页下拉框里指定期号范围的所有数据，用VBA能不能实现？
抓取出的数据存放在A:C列里，如下图所示：

WYS67

希望大神们写出代码。

WYS67

希望大神们帮忙写出代码。

WYS67

恳请大神们帮忙写出代码

WYS67

恳请大神们帮忙写出代码

WYS67

恳请大神们帮忙写出代码

WYS67

恳请大神们帮忙写出代码

WYS67

恳请大神们帮忙写出代码

WYS67

难道VBA无法抓取下拉框里逐个指定期号包括的数据内容吗？

duquancai

WYS67 发表于 2018-12-1 22:54
恳请大神们帮忙写出代码

python3.7 高并发异步爬虫
抓取 2015-11-03 到 2018-12-01 的数据并写入Excel，总计运行时间在30秒内完成！

1. # -*- coding: utf-8 -*-
   
2. import asyncio, aiohttp
   
3. import async_timeout, time, re
   
4. import pandas as pd
   
5. #信号量，控制协程数，防止爬取太快！
   
6. headers = {"User-Agent": "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6"}
   
7. async def get_html(url,sess):
   
8.     with async_timeout.timeout(20):#设置请求的最长时间为20s
   
9.         async with sess.get(url, headers=headers) as res:
   
10.             if res.status == 200:
    
11.                 text = await res.text(encoding='gb2312')
    
12.                 return text
    
13. 
    
14. async def crawl_spder(url):
    
15.     async with aiohttp.ClientSession() as sess:
    
16.         text = await get_html(url,sess)
    
17.         parse_html(text)
    
18. 
    
19. def parse_html(text):
    
20.     global df
    
21.     if text:
    
22.         data_list = r.findall(str(text))
    
23.         df = df.append(data_list)
    
24. 
    
25. def crawl():
    
26.     date_list = pd.date_range('2015-11-03', '2018-12-01')
    
27.     date_list = [pd.Timestamp(x).strftime("%Y%m%d") for x in date_list.values]
    
28.     start_url = 'http://kaijiang.500.com/static/info/kaijiang/xml/jsk3/{}.xml?_A=UAHNMCOE{}'
    
29.     tasks = [crawl_spder(start_url)]
    
30.     for data in date_list:
    
31.         rand_time = str(int(round(time.time() * 1000)))
    
32.         url = start_url.format(data, rand_time)
    
33.         tasks.append(crawl_spder(url))
    
34. 
    
35.     loop = asyncio.get_event_loop()
    
36.     loop.run_until_complete(asyncio.wait(tasks))
    
37.     loop.close()
    
38. 
    
39. if __name__ == '__main__':
    
40.     t = time.time()
    
41.     r = re.compile(r'<row\s*expect="(\d+)"\s*opencode="([^"]+)"\s*opentime="([^"]+)"\s*/>')
    
42.     df = pd.DataFrame()
    
43.     crawl()
    
44.     with pd.ExcelWriter(r'output.xls') as writer: # 写入Excel文件,可以更改文件路径
    
45.         df.columns = ['期号', '号码', '时间']
    
46.         df.to_excel(writer, 'Sheet1', index=False, header=True)
    
47.     print(time.time()-t)

复制代码