不懂html也来学网抓（xmlhttp/winhttp+fiddler）

zongyj

农业银行日元汇率

1. Option Explicit
   
2. 
   
3. Sub hk()
   
4.     Dim xml As New WinHttpRequest, str As String, reg As New RegExp, xml1 As String, html
   
5.     Dim i, j, m, n
   
6.     Dim ar, arr
   
7.     Dim VIEWSTATE As String, EVENTTARGET As String, EVENTARGUMENT, EVENTVALIDATION, ddr As String, date1, date2
   
8.     Dim tb
   
9.     xml1 = "http://app.abchina.com/rateinfo/RateHistorySearch.aspx"
   
10.     With xml
    
11.         .Open "GET", xml1, False
    
12.         .Send
    
13.         str = .ResponseText
    
14.         With reg
    
15.             .Global = True
    
16.             .MultiLine = True
    
17.             .Pattern = "\s"
    
18.             str = .Replace(str, "")
    
19.             .Pattern = "VIEWSTATE""value=""(.*?)"""
    
20.             VIEWSTATE = .Execute(str).Item(0).SubMatches(0)
    
21.             .Pattern = "DATION""value=""(.*?)"""
    
22.             Set ar = .Execute(str)
    
23.             EVENTTARGET = .Execute(str).Item(0).SubMatches(0)
    
24.         End With
    
25.         ddr = Sheet4.Range("a1")
    
26.         date1 = Sheet4.Range("b1")
    
27.         date2 = Sheet4.Range("c1")
    
28.         Set html = CreateObject("htmlfile")
    
29.         .Open "GET", xml1, False
    
30.         .Send "_VIEWSTATE=" & VIEWSTATE & "&_EVENTTARGET" & EVENTTARGET & "&ddr1=" & encodeURI(ddr) & "&datepicker1=" & date1 & "&datepicker2=" & date2 & "&btnSearch=" & encodeURI("搜索")
    
31.         str = .ResponseText
    
32.         Debug.Print str
    
33.         html.body.innerhtml = .ResponseText
    
34.         Set tb = html.all.tags("table")(1).Rows
    
35.         For i = 0 To tb.Length - 1
    
36.             For j = 1 To tb(i).Cells.Length - 1
    
37.                 Sheet4.Cells(i + 3, j) = tb(i).Cells(j).innertext
    
38.             Next
    
39.         Next
    
40.     End With
    
41. End Sub
    
42. Function encodeURI(strTobecoded As String) As String
    
43.     With CreateObject("msscriptcontrol.scriptcontrol")
    
44.         .Language = "JavaScript"
    
45.         encodeURI = .Eval("encodeURIComponent('" & strTobecoded & "');")
    
46.         'encodeURIComponent无法转换括号，所以再替换下括号
    
47.         encodeURI = Replace(Replace(encodeURI, "(", "%28"), ")", "%29")
    
48.     End With
    
49. End Function

复制代码

renahu

renahu 发表于 2014-12-3 12:50
谢谢老师，我的环境已经够纯净了，也许是系统环境等别的因素吧，实在看不到老师的登陆session，只好作罢 ...

这个fiddler2.xx好像session里获取不到https，改成fiddler4就可以了

mzbao

标记一下。后面继续来学

瓦琢

绝对赞，瞄了瞄，有空细看

活宝番茄蛋花汤

@wcymiss你好
每次都要通过fiddler得到有数据的url，然后才能用代码抓取url的数据
我想知道，可以不用fiddler吗，直接用代码获得有数据的url，然后在抓取，可行吗？怎么实现呢？

活宝番茄蛋花汤

@ wcymiss 你好，我能不能看看你的帖子：”WINSOCK API类 简单实例演示(分别应用于http协议和smtp协议 ......."
提示我权限高于50才能阅览。

zss427607

wcymiss 发表于 2014-10-22 16:56
再上一个动态参数的例子：

网站：http://www.abchina.com/cn/Public ... t20101217_45743.htm

吴姐，按照动态参数的例子。尝试登陆内部网站失败，能否指定一下呀。

onlycxb

活宝番茄蛋花汤 发表于 2014-12-19 11:18
@wcymiss你好
每次都要通过fiddler得到有数据的url，然后才能用代码抓取url的数据
我想知道，可以不用fi ...

url都不给出，相当于不知道要什么

wcymiss

zss427607 发表于 2014-12-23 06:09
吴姐，按照动态参数的例子。尝试登陆我厂的内部网站失败，能否指定一下呀。

这个应该不难啊。准确发送__VIEWSTATE和__EVENTVALIDATION应该就可以啊（每次请求都要发送从上一次的responsetext里获取的这两个参数的值）。注意url的转码。你代码怎么写的？

hhaa999

是不是立即窗口出现的东西才可以用处理字符得到立即窗口里的数据