不懂html也来学网抓（xmlhttp/winhttp+fiddler）

VBA万岁 · 发表于 2014-10-24 15:55

VBA万岁发表于 2014-10-24 12:42
老师，我补齐了Referer，可还是报同样的错，不知为何？
我按你提供的地址下载安装了fiddler，抓包时界面 ...

经wcymiss老师的指点及onlycxb大侠的帮助，该问题已得以解决。
多谢二位，并强力支持本帖——它让我终于看到了入门的希望！

renahu · 发表于 2014-10-24 21:07

本帖最后由 renahu 于 2014-10-24 22:42 编辑

VBA万岁发表于 2014-10-22 12:32
接续onlycxb大侠的代码，完成另一半：
Sub HomerWork1_1()
Dim xml As New MSXML2.XMLHTTP, url As Str ...

我把这段代码拷贝到我的模块里，怎么总提示：用户定义类型未定义 Dim xml As New MSXML2.XMLHTTP

明白了，要引用

lk19910225 · 发表于 2014-10-24 22:48

VBA万岁发表于 2014-10-23 15:12
百度结果：
http://zhidao.baidu.com/link?url=-9S1gJlPKiBWbC-e_wBQ8lQUI409P4xuGZ-wtvLjLUZzvwEyDNbpF ...

说好的clearmytrackbyprocess呢= =!

onlycxb · 发表于 2014-10-25 08:49

本帖最后由 onlycxb 于 2014-10-25 13:04 编辑

renahu 发表于 2014-10-24 21:07
我把这段代码拷贝到我的模块里，怎么总提示：用户定义类型未定义 Dim xml As New MSXML2.XMLHTTP
...

我喜欢前期绑定，这样会有提示。对于记忆不太好的我来讲。可以充分利用智能提示来完成代码的准确编写，而不是copy改。

wcymiss · 发表于 2014-10-25 09:05

本帖最后由 wcymiss 于 2014-10-26 10:10 编辑

处理数据的通用方法：

1、数组法：
用split和数组，循环将所需数据取出。
优点：不需其他对象辅助，起点低，会数组即可。
缺点：需要分析数据结构，对于复杂结构的数据，需要多步才能完成。
以作业一的第1题为例：

Sub Main()
Dim strText As String
Dim arrRow, arrCell
Dim i As Long, j As Long, n As Long
Dim arrColumn
Dim arrData(1 To 1000, 1 To 10)
With CreateObject("MSXML2.XMLHTTP")
.Open "GET", "http://data.bank.hexun.com/lccp/jrxp.aspx", False
.Send
strText = .responsetext
End With
arrColumn = Array(, , 9, 12, 14, 16, 18, 20, 22, 24, 26)
arrRow = Split(strText, "name='proTest' ")
For i = 1 To UBound(arrRow)
arrCell = Split(arrRow(i), ">")
n = n + 1
arrData(n, 1) = Split(Split(arrCell(0), "value='")(1), "'")(0)
For j = 2 To 10
arrData(n, j) = Split(arrCell(arrColumn(j)), "<")(0)
Next
Next
Cells.Clear
Range("a1:j1").Value = Split("产品名称是否在售银行起售日停售日币种管理期(月) 产品类型预期收益(%) 收益类型", " ")
Range("a2").Resize(n, 10).Value = arrData
End Sub

复制代码

2、正则法：
用正则拆解字符串，提取匹配数据，循环取出。
优点：即便复杂结构的数据，也有可能一步到位。
缺点：需要学习正则知识。
70楼获取到QQ群成员清单后，用正则提取成员的昵称和QQ号：

Sub Main()
Const gc As String = "" '群号
Const bkn As String = "" '从fiddler中获取
Const uin As String = "" 'QQ号
Const skey As String = "" '从fiddler中获取
Dim strText As String
Dim RegMatch As Object
Dim arrData(1 To 1000, 1 To 2)
Dim n As Long
With CreateObject("WinHttp.WinHttpRequest.5.1")
.Open "GET", "http://qinfo.clt.qq.com/cgi-bin/qun_info/get_group_members_new?gc=" & gc & "&bkn=" & bkn, False
.setRequestHeader "Cookie", "uin=o" & uin & "; skey=" & skey
.Send
strText = .responsetext
Debug.Print strText
End With
With CreateObject("VBScript.Regexp")
.Global = True
.Pattern = "{""b"":\d+,""g"":\d+,""n"":""([^""]*)"",""u"":(\d+)}"
For Each RegMatch In .Execute(strText)
n = n + 1
arrData(n, 1) = RegMatch.submatches(0)
arrData(n, 2) = RegMatch.submatches(1)
Next
End With
Set RegMatch = Nothing
Cells.Clear
Range("a1:b1").Value = Array("昵称", "QQ号")
Range("a2").Resize(n, 2).Value = arrData
End Sub

复制代码

以上两种方法对于处理获取到的数据一般都能用，但都需先行分析获数据结构。对于复杂结构数据，需要时间和耐心。

table、xml、json各自还有一些专用的提取方法。

renahu · 发表于 2014-10-25 09:06

onlycxb 发表于 2014-10-25 08:49
我喜欢前期绑定，这样会有提示。对于忘记不太好的我来讲。可以充分利用智能提示来完成代码的准确编写，而 ...

呵呵，我跟您没法比，我是纯菜鸟，真心不知道什么是前期绑定，您能否告知这个例子如何做前期绑定吗？谢谢

newexcel3 · 发表于 2014-10-25 09:41

好东西啊，就等这样的学习材料。谢谢了

onlycxb · 发表于 2014-10-25 10:19

本帖最后由 onlycxb 于 2014-10-25 10:31 编辑

renahu 发表于 2014-10-25 09:06
呵呵，我跟您没法比，我是纯菜鸟，真心不知道什么是前期绑定，您能否告知这个例子如何做前期绑定吗？谢谢

前期绑定就是先引用相关库。比如MSXML2.XMLHTTP
前期绑定方式步骤：在VBE编辑器中，选择工具栏 >工具>引用，将弹出引用对话框
前期绑定.png

在代码中利用实例化对象即可。详细看GIf录制

利用前期绑定后的代码如下：
Sub Test()
Dim xml As New MSXML2.XMLHTTP
With xml
.Open "GET", URL, False
.send
End With
End Sub
稍加修改，即可变为后期绑定
Sub Test()
Dim xml As Object                                        '原代码xml As New MSXML2.XMLHTTP
Set xml = CreateObject("MSXML2.XMLHTTP") '这句是后期绑定语句
With xml
   .Open "GET", URL, False
   .send
End With
End Sub

wcymiss · 发表于 2014-10-25 10:43

本帖最后由 wcymiss 于 2014-10-27 13:07 编辑

处理table
table数据处理，除了之前的两种通用方法外，还有以下几种方法：

1、html法
将table数据写入htmldocument对象，然后循环取出表格的各个元素。
优点：可以利用htmldocument对象整理表格。
缺点：需要学习html相关知识。
以17楼作业二为例：

Sub Main()
Dim strText As String
Dim arrData(1 To 1000, 1 To 3)
Dim i As Long, j As Long
Dim TR As Object, TD As Object
With CreateObject("MSXML2.XMLHTTP")
.Open "POST", "http://www.pinble.com/Template/WebService1.asmx/Present3DList", False
.setRequestHeader "Content-Type", "application/json"
.Send "{pageindex:'1',lottory:'TC7XCData_jiangS',pl3:'',name:'江苏七星彩',isgp: '0'}"
strText = Split(JSEval(.responsetext), "<script")(0) '本例的script运行会提示错误，所以去除这部分script代码
End With
With CreateObject("htmlfile")
.write strText
i = 0
For Each TR In .all.tags("table")(2).Rows
i = i + 1
j = 0
For Each TD In TR.Cells
j = j + 1
arrData(i, j) = TD.innerText
Next
Next
End With
Set TR = Nothing
Set TD = Nothing
Cells.Clear
Range("C:C").NumberFormat = "@" '设置文本格式以显示数字前面的0
Range("a1").Resize(i, 3).Value = arrData
End Sub
Function JSEval(s As String) As String
With CreateObject("MSScriptControl.ScriptControl")
.Language = "javascript"
JSEval = .Eval(s)
End With
End Function

复制代码

2、QueryTable法：
这个是excel自带的网抓利器。个人觉得它最大的优势就是处理table很方便。
优点：处理table方便，代码简短。
缺点：会产生定义名称。多页循环时每页都会产生行字段名称，需要后续处理删除。
仍以作业一的第1题为例：

Sub Main()
Cells.Delete
With ActiveSheet.QueryTables.Add("url;http://data.bank.hexun.com/lccp/jrxp.aspx", Range("a1"))
.WebFormatting = xlWebFormattingNone '不包含格式
.WebSelectionType = xlSpecifiedTables '指定table模式
.WebTables = "2" '第2张table
.Refresh False
End With
End Sub

复制代码

代码相当简短。

3、复制粘贴法：
table部分的文字可以直接复制到单元格内，且保留数据原格式。
优点：只需取出table部分，不需分析数据内部结构。代码编写简便。
缺点：有时格式反而是累赘。

Sub Main()
Dim strText As String
With CreateObject("MSXML2.XMLHTTP")
.Open "GET", "http://data.bank.hexun.com/lccp/jrxp.aspx", False
.Send
strText = .responsetext
End With
strText = "<table" & Split(Split(strText, "<table")(2), "</table>")(0) & "</table>"
CopyToClipbox strText
Cells.Clear
Range("a1").Select
ActiveSheet.Paste
End Sub
Sub CopyToClipbox(strText As String)
'文本拷贝到剪贴板
With CreateObject("new:{1C3B4210-F441-11CE-B9EA-00AA006B1A69}")
.SetText strText
.PutInClipboard
End With
End Sub

复制代码

小贴士：
点击Fiddler的Response框的WebView按钮可以看到HTML代码在网页上的显示效果。

onlycxb · 发表于 2014-10-25 11:11

wcymiss 发表于 2014-10-25 10:43
处理table

table数据处理，除了之前的两种通用方法外，还有以下几种方法：

With CreateObject("htmlfile")
      .write strText
      i = 0
      For Each TR In .all.tags("table")(2).Rows
         i = i + 1
         j = 0
         For Each TD In TR.Cells
            j = j + 1
            arrData(i, j) = TD.innerText
         Next
      Next
End With
上述代码提取数据简单，此表有
<table id="MyGridView" cellspacing="0" cellpadding="0" bordercolor="#B6CBE8" border="1" style="width: 100%; border-collapse: collapse;" rules="all">
<tbody>
利用如下语句也可实现
For Each TR In .all.tags("table")("MyGridView").Rows

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

评分

评分

评分

评分