VBA抓取网页表格数据

mail249120

duquancai 发表于 2019-1-23 21:01
是这样吗？？？？

是的，要的效果就是这样，但是需要ExcelVBA抓取，大神可以吗

mail249120

chentonny 发表于 2019-1-23 19:12
这是JS异步加载的数据。楼主恐怕不是只想取某一日的数据吧？

每天都会有更新的，基本每天中午左右就会是当天更新的数据了

chentonny

mail249120 发表于 2019-1-24 07:39
每天都会有更新的，基本每天中午左右就会是当天更新的数据了

这种玩意在vba里头比较不好处理，在PYTHON中相对简单。上面的PYTHON代码可以获取、解析数据，但没有输出到EXCEL。想输出到EXCEL还得加几行代码。建议你要取数据，还是在PYTHON里搞吧。

duquancai

mail249120 发表于 2019-1-24 07:38
是的，要的效果就是这样，但是需要ExcelVBA抓取，大神可以吗

VBA我也会一点，有空再给您服务！

duquancai

mail249120 发表于 2019-1-24 07:38
是的，要的效果就是这样，但是需要ExcelVBA抓取，大神可以吗

这是ExcelVBA代码》》》》》》》》》》》》》》》》》》》》》》》》

1. Sub main()
   
2.     my_name$ = "username=pnrsandy" '用户名
   
3.     my_pwd$ = "&password=PNR123456" '密码
   
4.     post_data$ = "pageNo=1&pageSize=20&cityCode=119900&productSortName=%E7%82%89%E6%96%99"
   
5.     Call login_get_json(my_name, my_pwd, post_data)
   
6.     MsgBox "ok!"
   
7. End Sub
   
8. Sub login_get_json(ByVal my_name$, ByVal my_pwd$, ByVal post_data$)
   
9.     Dim xmlhttp As Object
   
10.     Set xmlhttp = CreateObject("msxml2.xmlhttp")
    
11.     xmlhttp.Open "POST", "https://vip.ccmn.cn/a/login", False
    
12.     xmlhttp.send my_name & my_pwd
    
13.     xmlhttp.Open "POST", "https://www.ccmn.cn/historyprice/getCorpQuotationsList", False
    
14.     xmlhttp.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    
15.     xmlhttp.send post_data
    
16.     Call parse_json(xmlhttp.responseText)
    
17. End Sub
    
18. Sub parse_json(ByVal json_sr$)
    
19.     Dim js As Object, j As String
    
20.     Sheets(1).Select: Cells.Clear
    
21.     Set js = CreateObject("MSScriptControl.ScriptControl")
    
22.     js.Language = "JavaScript": js.AddObject "g", Range("a1")
    
23.     j = "k=0;a=" & json_sr & "['body']['marketPriceList'];"
    
24.     j = j & "for(i=0;i<a.length;i++,k++){if(k==0){r=0;for(o in a[i]){++r;g(1,r)=o;g(2,r)=a[i][o]}"
    
25.     j = j & "}else{r=0;for(o in a[i]){++r;g(i+2,r)=a[i][o]}}};": js.eval (j)
    
26. End Sub

复制代码

Kaohsing

duquancai 发表于 2019-1-24 20:57
这是ExcelVBA代码》》》》》》》》》》》》》》》》》》》》》》》》

板正。            

mail249120

duquancai 发表于 2019-1-24 20:57
这是ExcelVBA代码》》》》》》》》》》》》》》》》》》》》》》》》

大神，到这一句有错误，看图

mail249120

Kaohsing 发表于 2019-1-23 21:24
只能是自己积累数据，或者付费获取数据.

请问，那像这个链接好抓吗？https://www.ccmn.cn/bxg/201/
这页面每天会出现新的链接，比如今天会有1-24的数据，然后链接点进去会有表格数据
所以首先是抓到链接地址，然后再到链接地址网页中抓取所需数据

Kaohsing

mail249120 发表于 2019-1-25 12:26
大神，到这一句有错误，看图

Set xmlhttp = CreateObject("WinHttp.WinHttpRequest.5.1")

Kaohsing

mail249120 发表于 2019-1-25 12:38
请问，那像这个链接好抓吗？https://www.ccmn.cn/bxg/201/
这页面每天会出现新的链接，比如今天会有1-24 ...

是的。 每日从https://www.ccmn.cn/bxg/201/从这个页面获取连接，在请求连接得到数据。时间长了你就有历史数据啦.