不懂html也来学网抓（xmlhttp/winhttp+fiddler）

/wx萧湘剑雨 · 发表于 2014-10-21 19:41

顶起来看看

renahu · 发表于 2014-10-21 20:16

的确是好东西，帮顶！等有空一定学学

wcymiss · 发表于 2014-10-21 21:39

本帖最后由 wcymiss 于 2014-10-22 07:14 编辑

获取数据-防盗链的处理-模拟Referer：

当你的vba代码中：
GET部分后面的URL与Request框中的一摸一样；
或是POST的URL、SendData，与Request框中的一摸一样，Content-Type也没有忘记setRequestHeader；
但数据仍旧无法获取时，那你要获取的数据网页一定加了某种防盗链的措施。

此时要开始我们漫长的抓包调试过程了。（路漫漫其修远兮。。。）

调试这样的防盗链网页，如果在Request框中看到有这样的字样：
Referer: http://.......
那么，你首选模拟Referer（因为模拟Referer最简单）

在xmlhttp对象里模拟Referer是无效的。必须要用winhttp对象。

举例：
网站：http://www.sgs.gov.cn/lz/etpsInfo.do?method=index
操作：点选“企业名称”，在空白框内输入“通用技术集团医药控股有限公司”后点击“搜索”，在随后跳出的页面里点击“详细信息”，需要获取该公司的详细信息数据。

根据本楼之前的方法编写的代码：

Sub Main()
Dim strText As String
With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1")
.Open "POST", "http://www.sgs.gov.cn/lz/etpsInfo.do?method=viewDetail", False
.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
' .setRequestHeader "Referer", ""
.send "etpsId=150000012002040300047"
strText = .responseText
Debug.Print strText
End With
End Sub

复制代码

运行后，立即窗口显示：

模拟Referer后的代码：
Sub Main()
Dim strText As String
With CreateObject("WinHttp.WinHttpRequest.5.1") 'CreateObject("MSXML2.XMLHTTP") '
      .Open "POST", "http://www.sgs.gov.cn/lz/etpsInfo.do?method=viewDetail", False
      .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
      .setRequestHeader "Referer", "http://www.sgs.gov.cn/lz/etpsInfo.do?method=doSearch"
      .send "etpsId=150000012002040300047"
      strText = .responseText
      Debug.Print strText
End With
End Sub
再次运行，立即窗口即出现相关企业的详细信息。

小贴士：除了Content-Type、Referer和Cookie，其他setRequestHeader的情况很少见。

wcymiss · 发表于 2014-10-21 21:55

本帖最后由 acecrazy 于 2014-12-11 14:17 编辑

获取数据-防盗链的处理-模拟Cookie：

再次提醒，抓包前请先清除浏览器所有Cookie、缓存、历史数据。

举例：
网站：http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1
操作：点击“控制价备案”，获取工程名称和招标控制价信息数据。

此网页模拟Referer后仍然无法获取数据。于是考虑模拟Cookie。
复制数据页面的cookie值，填入代码中（先不要去掉Referer的模拟）：

Sub Main()
Dim strText As String
With CreateObject("WinHttp.WinHttpRequest.5.1")
.Open "GET", "http://www.gzgczj.com:8080/costRegulatory/project.do?method=showProjectList&isVisitor=1&f_id=11011&t1413902083242", False
.setRequestHeader "Referer", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1"
.setRequestHeader "Cookie", "E0685A9F6B708A1F1039BF2322B82A35"
.Send
strText = .responsetext
Debug.Print strText
End With
End Sub

复制代码

运行，，立即窗口显示“请重新登录”！

这是为什么呢？这是因为Cookie失效了！我们需要模拟“新鲜”的Cookie才行！

模拟“新鲜”Cookie的方法：
1、复制上面Cookie值字符串。
2、搜索Session框内第一次出现此Cookie值的网页：

3、编写代码，获取该Cookie，然后模拟写入数据网页：

Sub Main()
Dim strText As String
Dim strCookie As String
With CreateObject("WinHttp.WinHttpRequest.5.1")
.Option(6) = False ' 禁止重定向，以获取原网页信息
.Open "GET", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1", False
.Send
strText = .getAllResponseHeaders '获取所有的回应头信息
Debug.Print strText: Stop '在立即窗口里查看头信息
strCookie = Split(Split(strText, "Set-Cookie: ")(1), ";")(0) '取出Cookie值
End With
'在同一个winhttp对象里能保留cookie，为了体现设置cookie的作用，启用一个新的winhttp对象
With CreateObject("WinHttp.WinHttpRequest.5.1")
.Open "GET", "http://www.gzgczj.com:8080/costRegulatory/project.do?method=showProjectList&isVisitor=1&f_id=11011&t1413902083242", False
.setRequestHeader "Referer", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1"
.setRequestHeader "Cookie", strCookie '模拟Cookie
.Send
strText = .responsetext
Debug.Print strText
End With
End Sub

复制代码

运行。。查看立即窗口，数据获取成功。
注意：本cookie是存在于重定向之前的网页的，要取到该cookie，必须禁用重定向。关于重定向，请参考108楼的帖子
不要用getResponseHeader("Set-Cookie")获取回应头信息中的Cookie值。如果有多个Cookie值，用getResponseHeader("Set-Cookie")获取不到完整的Cookie值。

你如果认为模拟Cookie只能写setRequestHeader的话，你就大错特错了。

xmlhttp对象和winhttp对象均可以保留Cookie。
也就是说，要获取某个网页的Cookie，可以先发送对此网页的请求（GET或POST）。只要xmlhttp对象或winhttp对象不关闭，此Cookie在对象运行期间全程有效。

据此，上述代码可以简化为：

Sub Main()
Dim strText As String
With CreateObject("WinHttp.WinHttpRequest.5.1")
.Open "GET", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1", False
.Send '此次send是为了获取cookie
.Open "GET", "http://www.gzgczj.com:8080/costRegulatory/project.do?method=showProjectList&isVisitor=1&f_id=11011&t1413902083242", False
.setRequestHeader "Referer", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1"
.Send
strText = .responsetext
Debug.Print strText
End With
End Sub

复制代码

运行。。查看立即窗口，数据同样获取成功。

小贴士：用setRequestHeader方法模拟Cookie时，要用winhttp对象。发送网页的请求获取Cookie则xmlhttp、winhttp都可以。

dg831451 · 发表于 2014-10-21 21:58

wcymiss 发表于 2014-10-21 21:39
获取数据-防盗链的处理-模拟Referer：

不知道吴姐，有没有研究过https加密网站同时还要发送证书的

dg831451 · 发表于 2014-10-21 22:13

回复弦月老师，其实也不算内网，用了证书可以登陆，不过公司有登陆日志。今天用ie方法获取856页数据，用了28分钟。。。

wcymiss · 发表于 2014-10-21 22:16

dg831451 发表于 2014-10-21 21:58
不知道吴姐，有没有研究过https加密网站同时还要发送证书的

https做过，但没遇到过有证书问题的网页。

winhttp有个选项可以忽略证书错误（Option(4) = 13056），但这可能不是你要的。

suwenkai · 发表于 2014-10-21 22:18

wcymiss 发表于 2014-10-21 14:13
新手作业：
1、网站：http://data.bank.hexun.com/lccp/jrxp.aspx
操作：点击“今日在售产品”，获取 ...

第一题

Sub 按钮1_单击()
Dim url, html
url = "http://data.bank.hexun.com/lccp/Jrxp.aspx?"
url = url & "col=1"
url = url & "&tag=desc"
url = url & "&date=2014-10-21" '查询日期
url = url & "&page=1" '查询页码
Set html = CreateObject("htmlfile")
With CreateObject("msxml2.xmlhttp")
.Open "get", url, False
.send
html.body.innerhtml = .responsetext
Set tb = html.all.tags("table")(1).Rows
For i = 0 To tb.Length - 1
For j = 1 To tb(i).Cells.Length - 1
Cells(i + 1, j) = tb(i).Cells(j).innertext
Next
Next
End With
End Sub

复制代码

xmyjk · 发表于 2014-10-21 22:19

好东西，一口气读了下来，继续期待后续，强烈推荐。

浮华、缠绕指尖 · 发表于 2014-10-21 22:30

本帖最后由浮华、缠绕指尖于 2014-10-21 22:43 编辑

吴姐，俺知道这是你一直以来蓄谋已久的大招。。。

俺的网抓部分也是你一步一步带起来的，哈哈其实吧，个人觉得，大部分人都是拿来主义，你讲细了很多人都不会去自己动手分析了，实际上网抓就是一个苦差事，1、POST时各种动态参数的寻找与分析，2、各种模拟头文件去伪造，3、相对轻松的字符串处理。

呵呵，你这也算是师傅带入门，修行看个人了。

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

点评

评分

点评

评分

点评

点评

点评

评分

评分

点评