如何提取动态无规律变动网页地址的数据

jj2901

各位好：
原来我在证券之星取数，由于提取网页是有规律的，因此可以通过网页链接的规律变动取相关数据，方式如下：
wstr = getHTTPPage1("http://stock.stockstar.com/list/3489_1.shtml")
        start = InStr(wstr, "行业研究</h1>")
        over = InStr(wstr, "<!--列表公共区 end-->")
        body1 = Mid(wstr, start, over - start)
wstr = getHTTPPage1("http://stock.stockstar.com/list/3489_2.shtml")
        start = InStr(wstr, "行业研究</h1>")
        over = InStr(wstr, "<!--列表公共区 end-->")
        body2 = Mid(wstr, start, over - start)
wstr = getHTTPPage1("http://stock.stockstar.com/list/3489_3.shtml")
        start = InStr(wstr, "行业研究</h1>")
        over = InStr(wstr, "<!--列表公共区 end-->")
        body3 = Mid(wstr, start, over - start)
......
而现在 我想提取东方财富网   http://data.eastmoney.com/report/hyyb.html页面的所有页的表格数据，但由于点击各页地址变化是随机的（网站可能加密，地址尾部加入了随机函数），故难以再用上述同样的办法提取内容，请高手赐教。谢谢

liucqa

不管你要做什么，请先用fiddler抓包

jj2901

请教 @liucqa ，能否具体讲讲。我不太明白，我是希望通过VBA实现。

suwenkai

Sub 按钮1_Click()
    Dim url, html, js
    url = "http://183.136.160.18/EM_DataCenter/js.aspx?type=SR&sty=HYSR&mkt=0&stat=0&cmd=2&code=&sc=&ps=10000&p=1&js=var%20suwenkai={%22data%22:[(x)],%22pages%22:%22(pc)%22,%22update%22:%22(ud)%22,%22count%22:%22(count)%22}&rt=47505758"
    Set js = CreateObject("scriptcontrol")
    js.Language = "jscript"
    With CreateObject("msxml2.xmlhttp")
        .Open "GET", url, False
        .send
        js.addcode (.responsetext)

        slen = js.eval("suwenkai.data.length") - 1
        For i = 0 To slen
            ar = Split(js.eval("suwenkai.data[" & i & "]"), ",")
            Cells(i + 2, 1).Resize(1, UBound(ar)) = ar
        Next
    End With
End Sub

VBA万岁

suwenkai 发表于 2015-3-1 09:29
Sub 按钮1_Click()
    Dim url, html, js
    url = "http://183.136.160.18/EM_DataCenter/js.aspx?typ ...

又一个使用VBA解析JSON格式的网页的实例，多谢分享！

onlycxb

也来凑个热闹

1. Sub Test20150301()
   
2.     Dim Url As String, St As String
   
3.     Dim js As Object
   
4.     Dim arrdata(1 To 100000, 1 To 11), ar
   
5.     Url = "http://183.136.160.18/EM_DataCenter/js.aspx?type=SR&sty=HYSR&mkt=0&stat=0&cmd=2&code=&sc=&ps=1&js=(pc),(x)&p=1&rt=" & Rnd
   
6.     Set js = CreateObject("MSScriptControl.ScriptControl")
   
7.     js.Language = "javascript"
   
8.     With CreateObject("MSXML2.XMLHTTP")
   
9.         .Open "GET", Url, False
   
10.         .send
    
11.         '获取总记录数
    
12.         St = .responsetext: St = Split(St, ",")(0)
    
13.         '改变参数，一次性读取
    
14.         Url = "http://183.136.160.18/EM_DataCenter/js.aspx?type=SR&sty=HYSR&mkt=0&stat=0&cmd=2&code=&sc=&ps=" & St & "&p=1&js=var%20dy={%22data%22:[(x)],%22pages%22:%22(pc)%22,%22update%22:%22(ud)%22,%22count%22:%22(count)%22}&rt=" & Rnd
    
15.         .Open "GET", Url, False
    
16.         .send
    
17.         js.addcode (.responsetext)
    
18.     End With
    
19.     '双数组操作，未测试读写速度
    
20.     For i = 0 To js.eval("dy.data.length") - 1
    
21.         ar = Split(js.eval("dy.data[" & i & "]"), ",")
    
22.         For j = 0 To 10
    
23.             arrdata(i + 1, j + 1) = ar(j)
    
24.         Next j
    
25.     Next
    
26.     Cells.Clear: Cells(2, 1).Resize(i, j + 1) = arrdata
    
27. End Sub
    

复制代码

jj2901

感谢@suwenkai @onlycxb 太牛了！

jj2901

非常感谢@suwenkai @onlycxb @VBA万岁
我是vba菜鸟，没弄懂，请帮忙解释下，尤其要问
Url = "http://183.136.160.18/EM_DataCenter/js.aspx?type=SR&sty=HYSR&mkt=0&stat=0&cmd=2&code=&sc=&ps=1&js=(pc),(x)&p=1&rt=" & Rnd
是怎么找出来的？我看到的网页链接是 “http://data.eastmoney.com/report/hyyb.html”

VBA万岁

jj2901 发表于 2015-3-1 11:48
非常感谢@suwenkai @onlycxb @VBA万岁
我是vba菜鸟，没弄懂，请帮忙解释下，尤其要问
Url = "http://183 ...

同求......

jj2901

URL终于弄懂了，通过抓包软件fiddler抓包分析得出，如下：
http://183.136.160.18/EM_DataCenter/js.aspx?type=SR&sty=HYSR&mkt=0&stat=0&cmd=2&code=&sc=545&ps=50&p=6&js=var%20zNgAcnBk={"data":[(x)],"pages":"(pc)","update":"(ud)","count":"(count)"}&rt=47506539
但@suwenkai @onlycxb均改成如下形式，有很多“%22”参数，为何要这样，请高手赐教！
http://183.136.160.18/EM_DataCenter/js.aspx?type=SR&sty=HYSR&mkt=0&stat=0&cmd=2&code=&sc=&ps=10000&p=1&js=var%20suwenkai={%22data%22:[(x)],%22pages%22:%22(pc)%22,%22update%22:%22(ud)%22,%22count%22:%22(count)%22}&rt=47505758