网页采集(网页抓取)教程第二课-用WinHTTP提交Post，viewstate获取和URLEncode编码方法

a8737461

楼主你好厉害 膜拜

wx486

kangatang 发表于 2012-7-18 14:29
大师为介绍相关知识，讲得比较全面。但针对1楼的问题我给出另外一种解决思路（XMLHTTP + QURYTABLE）

受kangatang兄的启发，用了类似方法也测试成功了，没有用到解码等麻烦也不易学的代码，直接把HTTPFOX抓到POST数据粘贴生成一个文本文件（附件中的posttxt.txt)，是不是可以这样理解：http://club.excelhome.net/thread-1049013-1-1.html里的第3问的答案是肯定的？。谢谢liucqa大师的教程（受益良多），谢谢kangatang兄的代码。我的代码运行稍慢，但另一个同类问题用的也是类似这个方法却很快（http://club.excelhome.net/forum. ... 5&page=1#pid7164470），速度相差这么大，不知何因？另：kangatang兄的代码在我的WIN8+OFFICE2013中运行不出错却没有取到数据。
我的代码如下：
附件： 学习网抓(懒人法).zip (46.36 KB, 下载次数: 96)

2013-8-30 13:38 上传

点击文件名下载附件

1. Sub xml()
   
2.     Dim doc As Object, i%, j%, p%, k%, s$, s1$, s2$, r
   
3.     Set doc = CreateObject("htmlfile")
   
4.     [a1].CurrentRegion.ClearContents
   
5.     t = Timer
   
6.     Application.ScreenUpdating = False
   
7.     Open ThisWorkbook.Path & "\posttxt.txt" For Input As #1
   
8.     postdata = VBA.StrConv(InputB(LOF(1), 1), 64)
   
9.     s1 = Split(postdata, "wx486")(0)
   
10.     s2 = Split(postdata, "wx486")(1)
    
11.     With CreateObject("msxml2.xmlhttp")
    
12.         For p = 1 To 20
    
13.             DoEvents: Application.StatusBar = "正在获取第" & p & "页数据，累计用时" & Format(Timer - t, "0.0秒")
    
14.             postdata = s1 & p & s2
    
15.             .Open "post", "http://www.gzgcjg.com/gzqypjtx/Estimate/ZY/MainQueryMarkZY.aspx", True
    
16.             .setRequestHeader "content-type", "application/x-www-form-urlencoded"
    
17.             .send (postdata)
    
18.             Do Until .readystate = 4
    
19.                 DoEvents
    
20.             Loop
    
21.             s = .responsetext
    
22. '            With CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}")
    
23. '                .SetText s
    
24. '                .PutInClipboard
    
25. '            End With
    
26.             doc.body.innerhtml = s
    
27.             For i = 0 To doc.all.tags("table").Length - 1
    
28.                 If InStr(doc.all.tags("table")(i).innertext, "排名") Then
    
29.                     Set r = doc.all.tags("table")(i).Rows
    
30.                 End If
    
31.             Next
    
32.             For i = IIf(p = 1, 0, 1) To r.Length - 1
    
33.                 k = k + 1
    
34.                 For j = 0 To r(i).Cells.Length - 1
    
35.                     Cells(k, j + 1) = r(i).Cells(j).innertext
    
36.                 Next
    
37.             Next
    
38.         Next
    
39.     End With
    
40.     Close #1
    
41.     Application.ScreenUpdating = True
    
42.     MsgBox "OK，共用时" & Format(Timer - t, "0.0秒")
    
43. End Sub
    

复制代码

wx486

赵莲 发表于 2012-12-12 23:47
请老大写一个实例

VBA 操作网页 比如 本版 搜索 网页 怎么提取 得到的搜索结果的链接

这个需要你自己写代码，liucqa大师说过：只指路，不登山。{:soso_e113:}

萍儿他叔

感谢老师的教导

luanjinling

找了好久了,先收藏再学习

ak47ok

每次回帖、谢谢！

living88

还是摸不着头脑

吉米尼亚诺@man

学习一下，很好了

datouda

请教一下，我找到了是GB2312的转码，用转码公式转换过来了，用一个变量t代替提交时就不能出现结果。我把要post的东西指向单元格也不行了，不知怎么回事，望指教，谢谢！

messias

看完了,每天一课,充实....