不懂html也来学网抓（xmlhttp/winhttp+fiddler）

wcymiss · 发表于 2014-10-29 14:32

本帖最后由 wcymiss 于 2014-10-29 16:20 编辑

像网易这么简单的登录毕竟少见。

很多网站的登录都会发送很多参数。参数是明码的、可以通过抓包搜索得到的，登录方法和第二篇章的获取数据的方法相同，这里就不再举例了。

下面将举一些比较复杂的、抓包后搜索不到明码参数的登录的例子。

复杂的登录需要学习Javascript知识。

Javascript知识入门请到这里：http://www.w3school.com.cn/js/index.asp

javascript知识深入请参阅此书：JavaScript权威指南（第6版）。下载地址：http://pan.baidu.com/s/1dDeOgoh

wcymiss · 发表于 2014-10-29 15:44

本帖最后由 wcymiss 于 2014-10-30 18:34 编辑

复杂登录一：搜房网登录

网站：http://agent.soufun.com/

做登录测试不用真实的用户名和密码也可以进行的。它与真实的用户名密码抓到的包，区别就是登录页面的Response信息不同，但Request信息是一样的。Response的内容仅仅是一个参考，不影响我们代码的编写。当然，有真实的用户名密码更好，你可以验证你的登录代码是否编写正确。

登录并用fiddler抓包。

以用户名作为搜索文本，搜到一个POST的session。
看其发送参数：

搜房网登录1.png

该SendData里有四个参数，其中两个参数名是username和userpwd，根据这个可以判断该Session是我们要找的登录session。

再观察webforms里所有的参数：（QueryString有1个，Body里有4个）
str_username是用户名，rememberme应该是对应网页上的“记住我的用户名”的参数，submit1是提交的意思，应该也是固定的值。这样，有动态嫌疑的就是str_userpwd和codev了。str_userpwd很明显是加密过的字符串。

首先处理codev。
搜索codev的值（我这里抓包的是6534），发现找不到。
以“codev”为搜索内容，再次搜索：

搜房网登录2.png

可见，“6534”是变量v_rand的值，而这个值，是由随机函数产生的！

所以我们在vba里也可以定义一个变量v_rand，然后，我们仿照javascript里的赋值语句也给这个vba变量赋值：

v_rand = Round(Rnd() * 10000)

复制代码

这样，动态参数codev就做好了。

接下来搜索str_userpwd参数那个字母数字混合的字符串值，还是搜不到。
于是搜str_userpwd试试。

还是在h t t p://agent.fang.com/ 这个网页里找到了str_userpwd，且这个页面里有多个str_userpwd。我们一个个来看下：
1、var str_userpwd = document.getElementById("str_userpwd").value;
这句仅仅是取值，没有加密算法；
2、if (str_userpwd == "") {
这句是判断密码是否为空。为空的话执行后面的提示。
3、function cmdEncrypt() {
         if ($("#str_userpwd").val().length < 17) {
            setMaxDigits(129);
            var key = new RSAKeyPair("010001", "", "一串字母数字混合文本");
            var pwdRtn = encryptedString(key, $("#str_userpwd").attr("value"));
            $("#str_userpwd").attr("value", pwdRtn);
         }
      }
这个函数先是判断密码是否小于17位。小于17位就执行后面多个语句，最后把密码框的值用变量pwdRtn的内容代替。
  再顺藤摸瓜，查找cmdEncrypt，发现它在函数loginSubmit内。至于函数loginSubmit，一看就是有关登录的。
  再搜索loginSubmit，发现它是点击“登录”按钮触发的函数。于是整个事件就变成：

  点击登录按钮-----触发loginSubmit------执行函数cmdEncrypt-----密码少于17位的话把密码替换成pwdRtn值。

  上面的流程就是登录的真相！

  现在的关键是取pwdRtn的值！

pwdRtn值通过3步得到：
1、setMaxDigits(129);
   2、var key = new RSAKeyPair("010001", "", "一串字母数字混合文本");
   3、var pwdRtn = encryptedString(key, $("#str_userpwd").attr("value"));
在fiddler里搜索这三个函数所在位置：
setMaxDigits在h t t p://img1.soufun.com/secondhouse/image/magent/js/BigInt.js 这个js文件里；
RSAKeyPair和encryptedString在h t t p://img1.soufun.com/secondhouse/image/magent/js/RSA.js 里。
再看RSA.js这个文件的前言：

搜房网登录3.png

我们还需要h t t p://img1.soufun.com/secondhouse/image/magent/js/Barrett.js

我们需要截取上述所有js函数后执行得出pwdRtn值，然后将其放入SendData里。

代码编写：
1、获取js文件的js代码：

.Open "GET", "http://img1.soufun.com/secondhouse/image/magent/js/RSA.js", False
.Send
strJS= strJS & ";" & .responsetext

复制代码

另外两个js文件同上一样获取。

2、截取函数cmdEncrypt的执行语句，并把str_userpwd文本框的值替换为我们的密码变量。

.Open "GET", "http://agent.fang.com/ ", False
.Send
strText = .responsetext
strJSFun = Mid(strText, InStr(strText, "setMaxDigits("))
strJSFun = Left(strJSFun, InStr(strJSFun, "$(""#str_userpwd"").attr(""value"", pwdRtn);") - 1)
strJSFun = Replace(strJSFun, "$(""#str_userpwd"").attr(""value"")", UserPwd)

复制代码

3、将strJS和strJSFun结合后执行，取出pwdRtn值：

pwdRtn = JSEval(strJS & ";" & strJSFun & ";pwdRtn")

复制代码

获取到这个pwdRtn后就可以登录了。

完整的代码：

Sub Main()
Const UserName As String = "vbatest" '假设的账户
Const UserPwd As String = "12341234"
Dim strText As String
Dim strJS As String
Dim strJSFun As String
Dim pwdRtn As String
With CreateObject("MSXML2.XMLHTTP")
'1、获取js文件的js代码：
.Open "GET", "http://img1.soufun.com/secondhouse/image/magent/js/RSA.js", False
.Send
strJS = .responsetext
.Open "GET", "http://img1.soufun.com/secondhouse/image/magent/js/BigInt.js", False
.Send
strJS = strJS & ";" & .responsetext
.Open "GET", "http://img1.soufun.com/secondhouse/image/magent/js/Barrett.js", False
.Send
strJS = strJS & ";" & .responsetext
'2、截取函数cmdEncrypt的执行语句，并把获取str_userpwd文本框的值的代码替换为我们的密码变量。
.Open "GET", "http://agent.fang.com/", False
.Send
strText = .responsetext
strJSFun = Mid(strText, InStr(strText, "setMaxDigits("))
strJSFun = Left(strJSFun, InStr(strJSFun, "$(""#str_userpwd"").attr(""value"", pwdRtn);") - 1)
strJSFun = Replace(strJSFun, "$(""#str_userpwd"").attr(""value"")", "'" & UserPwd & "'")
'3、将strJS和strJSFun结合后执行，取出pwdRtn值：
pwdRtn = JSEval(strJS & ";" & strJSFun & ";pwdRtn")
'4、登录
.Open "POST", "http://agent.soufun.com/DealCenterLogin.aspx?codev=" & Round(Rnd() * 10000), False
.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
.Send "str_username=" & UserName & "&str_userpwd=" & pwdRtn & "&Submit1=%B5%C7++%C2%BC"
Debug.Print .getallresponseheaders '有三个Set-Cookie表明登录成功
End With
End Sub
Function JSEval(s As String) As String
With CreateObject("MSScriptControl.ScriptControl")
.Language = "javascript"
JSEval = .Eval(s)
End With
End Function

复制代码

小贴士：
1、整个登录过程都用一个对象，这个对象中间不要关闭，以保留cookie。
2、三个js文件中的js代码都不含操作html的代码，所以可以直接放在ScriptControl控件里使用。如果有操作html的代码，如后面的$(""#str_userpwd"") 这种，那就不能直接JSEval。或者像上述那样更改代码，或者借用HtmlWindow来执行代码。
3、上述提取strJSFun的过程可以自己发挥，反正所需的三条JS语句不要少就行。
4、寻找加密算法的过程也可以借助浏览器的调试器。
5、解密这种网站，经验越多寻找加密算法的时间就越短。

呃，，总算是完工了，，这个寻找过程好像很难写啊。。。希望有人能看懂。。。。看不懂的跟我说啊

补充内容 (2014-11-17 09:24):
这段代码主要是加密参数的计算演示。要继续查询的话需要设置cookie。具体代码见491楼http://club.excelhome.net/forum. ... ;page=50#pid7949122

wcymiss · 发表于 2014-10-29 16:27

本帖最后由 moon2778 于 2014-11-17 13:41 编辑

复杂登录二：58同城登录

网站：https://passport.58.com/login

代码运行时可能会跳出信任错误，请事先在internet选项中进行设置：
Internet选项----高级----安全，去掉“检查服务器证书吊销*”前面的勾。

登录并抓包。

找到登录网页，查看参数：
58登录1.png

搜索各参数名：

上面的这几个是明码（值在网页里能找到）。

58登录2.png

这几个是加密数据，由javascript函数计算所得。

把参数来源列张表更清晰：

58登录4.png

接下来查找包含加密算法函数的JS文件：

找到：

1、h t t ps://passport.58.com/js/v6/source/828ef34c77a2cbed693ba874ce570dfe.js?version=0.0.2
这个文件是由h t t ps://passport.58.com/static/ppt/js/5_1/comm_js/boot_passport_version.js里的函数产生的，所以我们需要先GET 后面那个js文件，以获取前面那个js文件名；

2、h t t ps://passport.58.com/rsa/ppt_security.js
这个文件里面包含了JQuery代码，所以同时还必须加载h t t ps://passport.58.com/static/js/5_1/jquery1.3.2.js

和上一次登录的例子不同，这次的JS函数包含了操作html的代码（JQuery大部分都是这种），不能在ScriptControl控件里运行了，必须在Html里运行。把js文件名写入DOM的script节点的src属性里，然后DOM的parentwindow就可以执行JS文件里的各种全局函数了。同前，vba代码编写的时候，最好用callbyname调用这些函数。

完整的代码：

Sub Main()
Const strHost As String = "https://passport.58.com"
Const Username As String = "vbatest"
Const Password As String = "12341234"
Dim strText As String, SendData
Dim objDom As Object, objWin As Object, objXML As Object
Dim arrJSFile(), i As Integer, strJS As String
Dim path, pts, ptk, cd, timesign, timespan, p1, p2, p3, key1, key2
'初始化赋值
Set objDom = CreateObject("htmlfile")
objDom.write "<script></script>" '添加一个空script节点
Set objWin = objDom.parentwindow
Set objXML = CreateObject("MSXML2.XMLHTTP")
arrJSFile = Array("jquery1.3.2.js", "ppt_security.js", "boot_passport_version.js") '要加载的js文件名
'获取主页面的源代码
objXML.Open "GET", strHost & "/login", False
objXML.Send
strText = objXML.responsetext
'获取各参数的明码值及运算时所需的值
path = Split(Split(strText, "name=""path"" value=""")(1), """")(0) '获取参数path
pts = Split(path, "/?pts=")(1) '用于timesign参数的计算
timespan = pts - CallByName(objWin, "eval", VbMethod, "new Date().getTime()") '用于timesign参数计算
ptk = Split(Split(strText, "id=""ptk"" value=""")(1), """")(0) '获取参数ptk
cd = Split(Split(strText, "id=""cd"" value=""")(1), """")(0) '获取参数cd
key1 = Split(Split(strText, """#password"").val()),""")(1), """")(0) 'encryptString函数的第二参数
key2 = Split(Split(strText, """#password"").val()),""" & key1 & """,""")(1), """")(0) 'encryptString函数的第三参数
'先下载JS文件到缓存（GET请求一次即可），以提高DOM加载JS文件的速度。（否则加载会有延迟）
For i = 0 To 2
'58的js路径有时会变，用下面这个小函数在HTML代码里寻找js文件的完整路径名
arrJSFile(i) = FindJSFile(strText, arrJSFile(i), strHost)
objXML.Open "GET", arrJSFile(i), False
objXML.Send
Next
'找到所需的第三个JS文件名并GET到缓存
strText = objXML.responsetext
arrJSFile(2) = Split(Split(strText, "try{var d=""")(1), """")(0) & Split(Split(strText, "just"":""")(1), """")(0)
objXML.Open "GET", arrJSFile(2), False
objXML.Send
'将JS文件加载进HTML
For i = 0 To 2
strJS = strJS & "<script src=""" & arrJSFile(i) & """></script>"
Next
objDom.write strJS '加载
'执行函数计算各参数的值
timesign = CStr(CallByName(objWin, "eval", VbMethod, "new Date().getTime()") + timespan)
p1 = CallByName(objWin, "getm32str", VbMethod, Password, timesign)
p2 = CallByName(objWin, "getm16str", VbMethod, Password, timesign)
p3 = CallByName(objWin, "encryptString", VbMethod, timesign & CallByName(objWin, "encodeURIComponent", VbMethod, Password), key1, key2)
'生成POST用的SendData
SendData = "isweak=0"
SendData = SendData & "&path=" & path
SendData = SendData & "&p1=" & p1
SendData = SendData & "&p2=" & p2
SendData = SendData & "&p3=" & p3
SendData = SendData & "&timesign=" & timesign
SendData = SendData & "&ptk=" & ptk
SendData = SendData & "&cd=" & cd
SendData = SendData & "&username=" & Username
SendData = SendData & "&password=password"
SendData = SendData & "&mcresult=undefined"
'登录
With objXML
.Open "POST", "https://passport.58.com/dounionlogin", False
.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
.Send SendData
Debug.Print .getallresponseheaders '包含58cooper和58passport的Set-Cookie即为登录成功
Debug.Print .responsetext '成功时这里包含location
End With
Set objXML = Nothing
Set objWin = Nothing
Set objDom = Nothing
End Sub
Function FindJSFile(Html As String, JSName, Host As String)
'在HTML代码里找到以JSName为名的JS文件的全路径名。没有Host的添加Host
With CreateObject("vbscript.regexp")
.Pattern = "[\s\S]+<script\s+(?:type=""text/javascript""\s+)?src=""([^""]+/" & Replace(JSName, ".", "\.") & ")""[\s\S]+"
FindJSFile = .Replace(Html, "$1")
If Not FindJSFile Like "http*" Then FindJSFile = Host & FindJSFile
End With
End Function

复制代码

wcymiss · 发表于 2014-10-31 14:52

本帖最后由 wcymiss 于 2014-11-1 16:48 编辑

这里留个空位，有精力就再写个登录。。

接下去是上传了。。

wcymiss · 发表于 2014-11-1 17:13

本帖最后由 moon2778 于 2014-11-26 10:17 编辑

上传文件
同样，上传文件也可以用fiddler抓包。

以EH的论坛上传附件为例。我们上传一个很小的压缩文件来测试（太大了的话，Fiddler的Raw里看不完整）。

在fiddler里搜索文件名（不含路径），确认我们需要模拟的网页。

上传1.png

webforms更清晰：

上传2.png

我们看到上传文件的POST的特点：
1、Content-Type是multipart/form-data，而且后面有一个boundary的赋值（10个英文减号+30个随机字母数字混合字符串），普通的POST的Content-Type是application/x-www-form-urlencoded了。
2、SendData的内容，各项内容以Content-Type里的boundary值分隔，但前面还加了两个英文减号，最后的boundary在末尾处也加了两个英文减号。
3、每项内容除文件流外是“Content-Disposition: form-data; name="名称"”+空行+值组成。
4、文件转成了二进制流，作为SendData其中一项内容，Content比其余各项略微复杂些。

我们也只需要按照这样的格式进行POST发送。

但要注意：字符串与字符串可以用“&”连接，但字符串与二进制流不能将流转为文本后用“&”连接，而应将字符串转为二进制流后再进行连接（数组方式、adostream均可连接流数据）。二进制流转为文本后会被系统按照默认编码格式进行编码，这样容易导致上传文件的格式不正确。

EH上传附件的代码（手工填入hash码即可上传了）：

Sub Main()
Const Uid As String = "" '论坛UID
Const Hash As String = "" '上传的Hash，从Fiddler里取
Dim Boundary As String
Dim SendData
Dim FileFullName As String
Dim FileShortName As String
Dim Title As String
Dim Filetype As String
FileFullName = "D:\测试2.rar"
FileShortName = Mid(FileFullName, InStrRev(FileFullName, "") + 1)
Title = Left(FileShortName, InStrRev(FileShortName, ".") - 1)
Filetype = "rar"
'获取Boundary
Boundary = GetBoundary()
'获取上传所需的SendData
SendData = GetUpLoadSendData(Boundary, FileFullName, _
"Filename", FileShortName, _
"proid", "0", _
"hash", Hash, _
"uid", Uid, _
"title", Title, _
"filetype", Filetype, _
"Filedata", FileShortName, _
"Upload", "Submit Query")
'上传
With CreateObject("MSXML2.XMLHTTP")
.Open "POST", "http://club.excelhome.net/misc.php?mod=swfupload&fid=2&action=swfupload&operation=upload", False
.setRequestHeader "Content-Type", "multipart/form-data; boundary=" & Boundary
.Send SendData
Debug.Print .responsetext '出现一串数字则为成功。到论坛发帖的界面可看到“未使用的附件”的提示。
End With
End Sub
Function GetBoundary() As String
'生成Boundary
Dim i As Integer, r As Integer
Do While i < 30
r = Int(Rnd * 75 + 48)
If r < 58 Or (r > 64 And r < 91) Or r > 96 Then
GetBoundary = GetBoundary & Chr(r)
i = i + 1
End If
Loop
GetBoundary = String(10, "-") & GetBoundary
End Function
Function GetUpLoadSendData(Boundary As String, FileFullName As String, ParamArray NameValue()) As Byte()
'NameValue()必须成双，前一个是名称，后一个是值
'NameValue()最后一对是文件流之后的名称值对
'NameValue()倒数第二对是文件流信息相关的两个数据
Dim DataBefore, DataAfter
Dim arrBytData(1 To 3), bytData() As Byte
Dim i As Long, j As Long, n As Long
'连接文件流之前的各项名称值对
For i = 0 To UBound(NameValue) - 4 Step 2 '最后两对单独处理
DataBefore = DataBefore & "--" & Boundary & vbCrLf
DataBefore = DataBefore & "Content-Disposition: form-data; name=""" & NameValue(i) & """" & vbCrLf
DataBefore = DataBefore & vbCrLf
DataBefore = DataBefore & NameValue(i + 1) & vbCrLf
Next
'连接文件流此项的Content-Disposition
DataBefore = DataBefore & "--" & Boundary & vbCrLf
DataBefore = DataBefore & "Content-Disposition: form-data; name=""" & NameValue(i) & """; filename=""" & NameValue(i + 1) & """" & vbCrLf
DataBefore = DataBefore & "Content-Type: application/octet-stream" & vbCrLf
DataBefore = DataBefore & vbCrLf
'文件流前面的字符串转为流
arrBytData(1) = StrToUTF8Byte(DataBefore)
'文件转流
arrBytData(2) = FileToByte(FileFullName)
'文件流之后的字符串（一项）
DataAfter = "--" & Boundary & vbCrLf
DataAfter = DataAfter & "Content-Disposition: form-data; name=""" & NameValue(i) & """" & vbCrLf
DataAfter = DataAfter & vbCrLf
DataAfter = DataAfter & NameValue(i + 1) & vbCrLf
DataAfter = DataAfter & "--" & Boundary & "--"
arrBytData(3) = StrToUTF8Byte(DataAfter) '转为流
'合并字符流和文件流
ReDim bytData(UBound(arrBytData(1)) + UBound(arrBytData(2)) + UBound(arrBytData(3)) + 2)
For i = 1 To 3
For j = 0 To UBound(arrBytData(i))
bytData(n) = arrBytData(i)(j)
n = n + 1
Next
Next
GetUpLoadSendData = bytData
End Function
Function StrToUTF8Byte(strText)
'文本转UTF-8编码并去除BOM头
With CreateObject("adodb.stream")
.Mode = 3 'adModeReadWrite
.Type = 2 'adTypeText
.Charset = "UTF-8"
.Open
.Writetext strText
.Position = 0
.Type = 1 'adTypeBinary
.Position = 3 '去除UTF-8编码文本前面的BOM头（三个字节）
StrToUTF8Byte = .Read()
.Close
End With
End Function
Function FileToByte(strFileName As String)
'文件转流
With CreateObject("Adodb.Stream")
.Open
.Type = 1 'adTypeBinary
.LoadFromFile strFileName
FileToByte = .Read
.Close
End With
End Function

复制代码

yeah ,大功告成

分享下VBS大神Demon的上传文件的代码：

http://demon.tw/programming/vbs-post-file.html

小贴士：
文件流前后的文本如果不用UTF-8编码的话，文件可以上传成功，但文件名里的中文可能无法正确显示。

wcymiss · 发表于 2014-11-3 20:27

liangdonghao222 发表于 2014-11-3 17:20
吴姐，类似打开这样的网页，要输入密码然后这样的能采集内容吗？？急求

你有没有具体的网址？

网上搜了下，Silverlight与flash类似，是个浏览器插件。服务器传到客户端的数据，有可能是明码（可以抓包直接看到），也有可能是加密数据。加密数据就需要解密甚至是反编译了。这样的数据仅仅是excel的vba的话是没法处理的。

wcymiss · 发表于 2014-11-4 13:09

liangdonghao222 发表于 2014-11-4 11:20
那估计是办法了，公司内部用的，吴姐我想再问既然能抓qq程序的那能不能抓其它程序的信息呢？

用Http协议通讯的软件你可以试试。Fiddler是抓Http通讯包的。

理论上，只要有足够强大的工具，任何数据都能抓。

wcymiss · 发表于 2014-11-5 13:08

本帖最后由 wcymiss 于 2014-11-5 14:17 编辑

liangdonghao922 发表于 2014-11-4 20:38
吴姐，假如抓包这样的地址 get方式 http://www.131458.com/handler/TaobaoInfo.ashx?nickCode=%u4E ...

呃，Token找到算法不难，关键Javascript不熟悉，被那个extend给难了下，最后还是自己草草定义个方法。

Sub Main()
Dim strText As String
Dim strJS As String
Dim Token, c, nickCode
nickCode = "为y消得人憔悴"
With CreateObject("MSXML2.XMLHTTP")
.Open "GET", "http://www.131458.com/js/jquery.js?verr=108", False
.Send
strText = .responsetext
strJS = Split(strText, "})(window);")(1) '抠出所需Javascript代码
strJS = "var jQuery={};jQuery.extend=function(a){jQuery.Token=a.Token};" & strJS '定义extend方法
Token = JSEval(strJS & ";jQuery.Token('" & nickCode & "');") '计算Token值
.Open "GET", "http://www.131458.com/js/taobao.js?ver=1115", False
.Send
strText = .responsetext
c = Split(Split(strText, "token+""&c=")(1), """")(0)
.Open "GET", "http://www.131458.com/handler/TaobaoInfo.ashx?nickCode=" & JSEval("escape('" & nickCode & "')") & "&token=" & Token & "&c=" & c & "&_=" & Rnd, False
.Send
strText = .responsetext
Debug.Print strText
End With
End Sub
Function JSEval(s As String) As String
With CreateObject("MSScriptControl.ScriptControl")
.Language = "javascript"
JSEval = .Eval(s)
End With
End Function

复制代码

这个js文件里的代码前半部分估计和IE6不兼容。否则用htmlfile导入这个文件执行下函数就出来了。现在却要抠来抠去的，还要自己定义extend。

wcymiss · 发表于 2014-11-5 14:14

无姓人发表于 2014-11-5 14:00
请问吴姐，我为什么运行13楼的代码，逐语句到.send就出现错误。
最开始13楼的代码能正常运行，也能取数，后 ...

试试这样：
关闭excel，用IE浏览器，打开那个链接。

如果能打开，就打开excel运行代码，仍然出错的话，估计是excel的问题了。

如果IE打不开，检查下IE里的设置。比如代理服务器什么的，是不是被设置了。

wcymiss · 发表于 2014-11-8 21:17

本帖最后由 wcymiss 于 2014-11-8 21:23 编辑

renahu 发表于 2014-11-8 20:21
吴老师，在EH中查自己的帖子，我试了不用模拟cookie就能抓到
Sub Main()
Dim strText As String

你是在IE登录论坛后运行的代码吧？

xmlhttp是可以调用IE的缓存和cookie的。

你试试清除IE缓存和cookie，重启excel后运行这段代码，看还有没有之前的效果。

		自动登录	找回密码
密码			免费注册

[原创] 不懂html也来学网抓（xmlhttp/winhttp+fiddler）

点评

评分

点评

评分

评分

评分

最新热点 /1