不懂html也来学网抓（xmlhttp/winhttp+fiddler）

ccwan · 发表于 2014-10-23 11:31

吴姐终于出教程了啊，收藏了

wcymiss · 发表于 2014-10-23 12:13

说到skey和bkn，索性再唠叨一下用IE获取Cookie的例子。

QQ的skey用winhttp比较难以获取，当中包含了一些复杂的js算法。

不过没关系，我们可以利用IE。当然，你的QQ软件需要先登录。

手工用IE打开http://xui.ptlogin2.qq.com/div/qlogin_div.html，如果提示安装控件请下载安装。

运行下面的代码即可得到登录QQ的skey值。
如果登录了多个QQ，代码里需要加上判断。这个代码我就不写了，是IE的用法，不在本帖讨论的范围内。

Sub Main()
Dim objDoc As Object
Dim strText As String
Dim skey As String, t
With CreateObject("InternetExplorer.Application")
.Navigate "http://xui.ptlogin2.qq.com/div/qlogin_div.html"
While .readystate <> 4 Or .busy: Wend
For Each objDoc In .Document.getelementsbytagname("INPUT")
If objDoc.Type = "submit" Then Exit For
Next
objDoc.Click
t = Timer
While Timer < t + 4: Wend
strText = .Document.cookie
.Quit
End With
Debug.Print strText
skey = Split(Split(strText, "skey=")(1), ";")(0)
Debug.Print skey
End Sub

复制代码

试试看，能不能获取到skey。

顺便分享下获取bkn的代码：

Function GetBkn(skey As String) As String
With CreateObject("MSScriptControl.ScriptControl")
.Language = "javascript"
GetBkn = .Eval("bkn=function(a){for(var c=5381,b=0,d=a.length;b<d;++b)c+=(c<<5)+a.charAt(b).charCodeAt();return c&2147483647}('" & skey & "');")
End With
End Function

复制代码

onlycxb · 发表于 2014-10-23 12:13

wcymiss 发表于 2014-10-22 12:30
新手作业：

网站：http://weibo.com/guide/welcome

近两天忙，作业一定补交的。

592rmb · 发表于 2014-10-23 12:41

工作中遇到的问题，虽然一直在学习，但因非专业，到现在还不能完全自己解决，期待高手们相助，谢谢了！

VBA万岁 · 发表于 2014-10-23 12:42

wcymiss 发表于 2014-10-22 16:56
再上一个动态参数的例子：

网站：http://www.abchina.com/cn/Public ... t20101217_45743.htm

将老师抓取到的数据导入Excel表如附件：

中国农业银行日元汇率提取.zip (1.19 MB, 下载次数: 596)

renahu · 发表于 2014-10-23 12:53

VBA万岁发表于 2014-10-23 08:31
我也是新手，一同期待wcymiss老师更多更精彩的讲解......

我看了你的作业，真棒，特详细，适合我们这些基础差的研究，我正在一点一点看你的代码，终于看明白了，呵呵，多亏你的作业，谢谢

wenwen000424 · 发表于 2014-10-23 12:54

记录一下，以便学习。

引子玄 · 发表于 2014-10-23 13:01

本帖最后由引子玄于 2014-10-23 13:09 编辑

我看，你的抓取方法，就叫“Fiddler抓取法”——很贴切很形象，借助Fiddler武器的抓。
不过我是习惯了徒手抓，啥武器都不用，但要用IE，否则徒手抓不了。

coby001 · 发表于 2014-10-23 13:11

本帖最后由 coby001 于 2014-10-23 13:13 编辑

引子玄发表于 2014-10-23 13:01
我看，你的抓取方法，就叫“Fiddler抓取法”——很贴切很形象，借助Fiddler武器的抓。
不过我是习惯了徒手 ...

算不上吧~
Fiddler只是辅助工具，又不是直接用菲德勒抓数据。
。

kangatang · 发表于 2014-10-23 13:14

本帖最后由 kangatang 于 2014-10-23 13:17 编辑

wcymiss 发表于 2014-10-21 16:52
吐槽：
卡死我了，是EH慢还是我的网速慢？一下午就写了这点帖子！每次都要刷新好多次才能成功发帖！我的网 ...

不知从什么时候开始，EH论坛变得有点卡顿，给你回复时，我3次重新打开浏览器，再登录EH论坛才得以操作成功。

学习吴女神课程，依据http协议向服务器发送requests。
两个关注：
1）Request Header的制作 (=>抓包工具分析后模拟制作)
2）发送的方式的选择，xmlhttp/winhttp....还有其它比较底层的发送方式：winsock、DOS命令等

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

点评

点评

评分

点评

点评