不懂html也来学网抓（xmlhttp/winhttp+fiddler）

wcymiss

coby001 发表于 2014-12-6 20:02
别鄙视网易了 ~~注意看链接的协议： https
这是个加密传输协议。你之所以看到 ...

对https了解还不多，不敢妄言。

但，对于这个网页，我用vba代码登录，username和password是明明白白的写在SendDate里的。冲这点就足够我鄙视它了。不说和淘宝、新浪比吧，改版前的百度也是明码，可也还是有两个加密参数的。

另外，https也只是为了数据传输的安全，不影响网抓代码的编写（数据POST之后会变成怎样的密文我就不必关心了）。至少这个网页是如此。

coby001

wcymiss 发表于 2014-12-6 20:44
对https了解还不多，不敢妄言。

但，对于这个网页，我用vba代码登录，username和password是明明白白 ...

https也只是为了数据传输的安全，不影响网抓代码的编写（数据POST之后会变成怎样的密文我就不必关心了）

关键就在于，Fiddle 是拦截 POST之后 的数据包，如果你不允许它替换 证书，Fiddle 也看不到明文的。

bailanhong

Sub Main()
    Dim strText As String, i As Integer
    For p = 1 To 2
    With CreateObject("WinHttp.WinHttpRequest.5.1")
        .Open "GET", "http://rep.iplant.cn/protlist?page=" & p, False
        .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
        .setRequestHeader "Referer", "http://rep.iplant.cn/protlist"
        .Send
        strText = .Responsetext
        Debug.Print strText
    End With
    Dim arr()
    tt = Split(strText, "prot/""</a>")
    Debug.Print tt
End Sub

谢谢吴姐，我文字处理方面，提示类型不匹配，是怎么回事

bailanhong

Sub Main()
    Dim strText As String
    Dim i As Long, j As Long
    Dim TR As Object, TD As Object
    For p = 1 To 1
    With CreateObject("WinHttp.WinHttpRequest.5.1")
        .Open "GET", "http://rep.iplant.cn/protlist?page=" & p, False
        .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
        .setRequestHeader "Referer", "http://rep.iplant.cn/protlist"
        .Send
        strText = .Responsetext
    End With
   
    tt = Split(strText, "a href")
    For i = 1 To UBound(tt) - 1
    arr = Split(Split(strText, "'>")(i), "</")(0)
    Debug.Print arr
    Next
Next
End Sub

需要的信息基本得到了，就是不知道怎么放在excel里面，还请教高手指点！

473767966

顶一下。。。。。。。。。。。。。。。。。

bailanhong

谢谢吴姐！！

coby001

https会对GET或POST参数加密吗?该怎么处理


https会对GET或POST参数加密吗?
如果加密,为什么还是可以通过浏览器工具能看到那些明文参数呢?一点也没有加密的感觉.....
这样还算什么安全作用?
请大家讨论一下,谢谢
------解决方案--------------------
SSL应该是在TCP层和HTTP层之间的，会对传输的数据进行加密，针对的是传输过程的安全。
具体的过程大概是： 客户端输入 - 加密 - 传输给服务器 - 服务解密器处理 - 加密 - 回传个客户端 - 客户端解密 - 呈现出来。

至于firebug之类的浏览器调试工具，因为他们得到的是客户端加密之前/解密之后的数据，因此是明文的。

比如你用https协议站点输入用户名密码，传输的过程中是加密的。 当然你不会输入的时候让其他人在你的浏览器用firebug查看你的输入吧。


------解决方案--------------------
传输数据加密，不代表客户端和服务器端看到的都是密文。防止有人截获tcp/ip中的数据包

http://www.ylzx8.cn/yingyongfuwuqi/web-application-server/20060.html

renahu

wcymiss 发表于 2014-10-21 12:51
更多Fiddler的使用方法，敬请参考《Fiddler调试权威指南》一书。
电子书下载地址：http://pan.baidu.com/s ...

吴老师，这是我的版本，不知足够新吗？
Fiddler Web Debugger (v2.4.9.4)
Built: 2014年9月18日

64-bit AMD64, VM: 58.00mb, WS: 65.00mb
.NET 2.0.50727.5485 WinNT 6.1.7601 SP1

coby001

Fiddler Web Debugger (v4.4.9.4)
Built: 2014年9月18日星期四

32-bit x86, VM: 34.00mb, WS: 38.00mb
.NET 4.0.30319.1 WinNT 5.1.2600 SP3

zongyj

新浪微博

1. Sub wb()
   
2.     Dim htm As New WinHttpRequest, str As String
   
3.     Dim reg As New RegExp
   
4.     Dim ar, arr, i, j, m, n
   
5. 
   
6.     With htm
   
7.         .Open "GET", "http://weibo.com/friends?leftnav=1&wvr=6&isfriends=1&step=2", False
   
8.         .SetRequestHeader "cookie", _
   
9.                           "SUE=es%3Df01xxxxxxxx%253D%26rv%3D0" & _   
   
10.                           ";SUP=cv%3Dxxxxxxxxxxxx"
    
11.         .Send
    
12.         str = .ResponseText
    
13.         Debug.Print str
    
14.         With reg
    
15.             .Global = True
    
16.             .MultiLine = True
    
17.             .Pattern = "\s"
    
18.             str = .Replace(str, "")
    
19.             .Pattern = "nick-name=\""(.*?)\\.*?content\"">(.*?)<a"
    
20.             Set ar = .Execute(str)
    
21.         End With
    
22.     End With
    
23.     ReDim arr(0 To ar.Count - 1, 1)
    
24.     For i = 0 To ar.Count - 1
    
25.         For j = 0 To 1
    
26.             arr(i, j) = ar.Item(i).SubMatches(j)
    
27.         Next
    
28.     Next
    
29.     Sheet1.Cells(3, 1).Resize(65533, 4).ClearContents
    
30.     n = Sheet1.Range("a65533").End(xlUp).Row
    
31.     Sheet1.Cells(n + 1, 1).Resize(ar.Count - 1, 2) = arr
    
32. End Sub

复制代码