不懂html也来学网抓（xmlhttp/winhttp+fiddler）

ccwan

吴姐终于出教程了啊，收藏了

wcymiss

说到skey和bkn，索性再唠叨一下用IE获取Cookie的例子。

QQ的skey用winhttp比较难以获取，当中包含了一些复杂的js算法。

不过没关系，我们可以利用IE。当然，你的QQ软件需要先登录。

手工用IE打开http://xui.ptlogin2.qq.com/div/qlogin_div.html，如果提示安装控件请下载安装。

运行下面的代码即可得到登录QQ的skey值。
如果登录了多个QQ，代码里需要加上判断。这个代码我就不写了，是IE的用法，不在本帖讨论的范围内。

1. Sub Main()
   
2.     Dim objDoc As Object
   
3.     Dim strText As String
   
4.     Dim skey As String, t
   
5.    
   
6.     With CreateObject("InternetExplorer.Application")
   
7.         .Navigate "http://xui.ptlogin2.qq.com/div/qlogin_div.html"
   
8.         While .readystate <> 4 Or .busy: Wend
   
9.         For Each objDoc In .Document.getelementsbytagname("INPUT")
   
10.             If objDoc.Type = "submit" Then Exit For
    
11.         Next
    
12.         objDoc.Click
    
13.         t = Timer
    
14.         While Timer < t + 4: Wend
    
15.         strText = .Document.cookie
    
16.         .Quit
    
17.     End With
    
18.     Debug.Print strText
    
19.     skey = Split(Split(strText, "skey=")(1), ";")(0)
    
20.     Debug.Print skey
    
21. End Sub
    

复制代码

试试看，能不能获取到skey。

顺便分享下获取bkn的代码：

1. Function GetBkn(skey As String) As String
   
2.     With CreateObject("MSScriptControl.ScriptControl")
   
3.         .Language = "javascript"
   
4.         GetBkn = .Eval("bkn=function(a){for(var c=5381,b=0,d=a.length;b<d;++b)c+=(c<<5)+a.charAt(b).charCodeAt();return c&2147483647}('" & skey & "');")
   
5.     End With
   
6. End Function

复制代码

onlycxb

wcymiss 发表于 2014-10-22 12:30
新手作业：

网站：http://weibo.com/guide/welcome

近两天忙，作业一定补交的。

592rmb

工作中遇到的问题，虽然一直在学习，但因非专业，到现在还不能完全自己解决，期待高手们相助，谢谢了！

VBA万岁

wcymiss 发表于 2014-10-22 16:56
再上一个动态参数的例子：

网站：http://www.abchina.com/cn/Public ... t20101217_45743.htm

将老师抓取到的数据导入Excel表如附件：
中国农业银行日元汇率提取.zip (1.19 MB, 下载次数: 594)

2014-10-23 12:41 上传

点击文件名下载附件

renahu

VBA万岁 发表于 2014-10-23 08:31
我也是新手，一同期待wcymiss老师更多更精彩的讲解......

我看了你的作业，真棒，特详细，适合我们这些基础差的研究，我正在一点一点看你的代码，终于看明白了，呵呵，多亏你的作业，谢谢

wenwen000424

记录一下，以便学习。

引子玄

我看，你的抓取方法，就叫“Fiddler抓取法”——很贴切很形象，借助Fiddler武器的抓。
不过我是习惯了徒手抓，啥武器都不用，但要用IE，否则徒手抓不了。

coby001

引子玄 发表于 2014-10-23 13:01
我看，你的抓取方法，就叫“Fiddler抓取法”——很贴切很形象，借助Fiddler武器的抓。
不过我是习惯了徒手 ...

算不上吧~
Fiddler只是辅助工具，又不是直接用菲德勒抓数据。
。

kangatang

wcymiss 发表于 2014-10-21 16:52
吐槽：
卡死我了，是EH慢还是我的网速慢？一下午就写了这点帖子！每次都要刷新好多次才能成功发帖！我的网 ...

不知从什么时候开始，EH论坛变得有点卡顿，给你回复时，我3次重新打开浏览器，再登录EH论坛才得以操作成功。

学习吴女神课程，依据http协议向服务器发送requests。
两个关注：
1）Request Header的制作 (=>抓包工具分析后模拟制作)
2）发送的方式的选择，xmlhttp/winhttp....还有其它比较底层的发送方式：winsock、DOS命令等