提取东方财富的网页数据到EXCEL中

wujiafa

数据地址：http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get?type=HSGTHDSTA&token=70f12f2f4f091e459a279469fe49eca5&st=HDDATE,SHAREHOLDPRICE&sr=3&p=1&ps=50&js=var%20RywNiBGx={pages:(tp),data:(x)}&filter=(MARKET%20in%20(%27001%27,%27003%27))(HDDATE%3E=^2019-02-28^%20and%20HDDATE%3C=^2019-04-11^)&rt=51834660%22

请大师帮忙写个提取程序，谢谢

duquancai

论坛有现成的代码

wujiafa

duquancai 发表于 2019-4-12 15:25
论坛有现成的代码

请问能不能分享一下链接，每个网页的格式不同是否可以通用

duquancai

wujiafa 发表于 2019-4-12 15:48
请问能不能分享一下链接，每个网页的格式不同是否可以通用

1. Sub main()
   
2.     Dim js As Object, D As Object, xml As Object, strText$, arr(), c&, r&, i&, j&
   
3.     Set D = CreateObject("htmlfile"): Set js = D.parentWindow
   
4.     Set xml = CreateObject("msxml2.xmlhttp")
   
5.     xml.Open "GET", "http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get?type=HSGTHDSTA&token=70f12f2f4f091e459a279469fe49eca5&st=HDDATE,SHAREHOLDPRICE&sr=3&p=1&ps=50&filter=(MARKET%20in%20(%27001%27,%27003%27))(HDDATE%3E=^2019-02-28^%20and%20HDDATE%3C=^2019-04-11^)&rt=51834660%22", False
   
6.     xml.send
   
7.     strText = xml.responseText
   
8.     js.execScript "var b=[];a=" & strText & ";for(k in a[0])b.push(k);"
   
9.     c = js.eval("b.length"): r = js.eval("a.length")
   
10.     ReDim arr(1 To r, 1 To c)
    
11.     For i = 0 To r - 1
    
12.         For j = 0 To c - 1
    
13.             arr(i + 1, j + 1) = js.eval("a[" & i & "][b[" & j & "]]")
    
14.         Next
    
15.     Next
    
16.     Range("a2").Resize(r, c) = arr
    
17. End Sub

复制代码

wujiafa

duquancai 发表于 2019-4-13 00:50

谢谢大师，非常感谢！

Kaohsing

wujiafa

Kaohsing 发表于 2019-4-13 10:07

请问大师，这个用的是什么软件？

duquancai

wujiafa 发表于 2019-4-13 10:41
请问大师，这个用的是什么软件？

python                  

duquancai

wujiafa 发表于 2019-4-13 10:41
请问大师，这个用的是什么软件？

1. # -*- coding: utf-8 -*-
   
2. # version: Python 3.7.0
   
3. import requests,csv
   
4. 
   
5. headers = {'User-Agent': '(KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
   
6. url = 'http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get'
   
7. 
   
8. def get_json(params, csv_file):
   
9.     r = requests.get(url=url, params=params, headers=headers)
   
10.     for i in r.json():
    
11.         writer = csv.writer(csv_file)
    
12.         writer.writerow([v for v in i.values()])#逐行写入csv文件！
    
13. 
    
14. if __name__ == '__main__':
    
15.     start_rq = '2019-02-28'#开始日期
    
16.     end_rq = '2019-04-13'#结束日期
    
17.     csv_file = open(r"test.csv", 'a', encoding="utf-8-sig", newline='')
    
18.     for p in range(5):#抓取前5页！！！抓取页数设置。
    
19.         params = {
    
20.             'type': 'HSGTHDSTA','token': '70f12f2f4f091e459a279469fe49eca5',
    
21.             'st': 'HDDATE,SHAREHOLDPRICE', 'sr': 3, 'ps': 50, 'rt': 51834660,
    
22.             'p': p+1,
    
23.             'filter': f"(MARKET in ('001','003'))(HDDATE>=^{start_rq}^ and HDDATE<=^{end_rq}^)"
    
24.         }
    
25.         get_json(params, csv_file)
    
26.     csv_file.close()

复制代码

地天泰

不错，学习了