不懂html也来学网抓（xmlhttp/winhttp+fiddler）

op_naruto

5555，小白鼠要慢慢看了唉

renahu

wcymiss 发表于 2014-12-1 15:59
不过这个网站用POST的话速度快。因为它的responsetext的字节少。

吴老师，我把赶集网的登陆附件又更新了一下，现在就算我清历史记录把excel重启，执行代码，提示验证成功，您有空再帮我看看是不是真登陆上去了，就是觉得太简单了点，所以不敢断定是否真成功了

renahu

wcymiss 发表于 2014-12-1 15:59
不过这个网站用POST的话速度快。因为它的responsetext的字节少。

吴老师，是这句吗？
        If InStr(strText, "renahu") = 0 Then MsgBox "验证失败！" Else MsgBox "有我的名字！验证成功！"

错在哪里呀？是代码写错了吗？

吴老师，我按您说的把赶集网登陆改了，您再帮我看看：
登陆练习2.rar (28.47 KB, 下载次数: 17)

2014-12-3 07:52 上传

点击文件名下载附件

renahu

wcymiss 发表于 2014-12-1 15:59
不过这个网站用POST的话速度快。因为它的responsetext的字节少。

吴老师几个登陆练习就差网易登陆没有成功了，还是想问一问网易登陆的问题：

这是我在fiddler中寻找登陆session，左面这个session很像例题中的登陆session，网址类似，也有登陆成功字样
但图标不一样，而且也不是post，是get。

关键是参数里面找不到密码这项。

再看这个session，看网址有点像

参数和老师例题中的不一样，这个 rcode 是不是经过加密处理的密码呢？

搜索  rcode ，其他地方都没有，只有这个js文件中有一个，看不明白怎么加密的

在这里看得更清楚点
吴老师，您看看，到底哪个是登陆session？例题中的登陆session实在是找不到了

jackyroy

受教了 很实用的技巧 好东西谢谢！

wcymiss

renahu 发表于 2014-12-3 08:46
吴老师几个登陆练习就差网易登陆没有成功了，还是想问一问网易登陆的问题：

这是我在fiddler中寻找登陆 ...

我上传我的163邮箱登录的session包和赶集网登录的代码，你自己对照吧。

一定要在纯净的环境下抓包。

renahu

wcymiss 发表于 2014-12-3 09:27
我上传我的163邮箱登录的session包和赶集网登录的代码，你自己对照吧。

一定要在纯净的环境下抓包。

谢谢老师，我的环境已经够纯净了，也许是系统环境等别的因素吧，实在看不到老师的登陆session，只好作罢。赶集网的问题，看来是set-cookie的数量，我发现XMLHTTP有7个，WinHttp有8个，所以老师写了一个大于等于7，更严谨一些。老师课上的这几个例子中搜房网和58确实很锻炼人，虽然不是很懂，但长见识，老师登陆的网址肯定不少，能不能再推荐几个类似的比较复杂的登陆让我们练一练。我就怕那些参数找不到的，只要能找到参数还是可以模仿老师的方法抓一抓。

zongyj

英超数据，请问老师正则中(.*?)a+........(.*?)a+怎么简化

1. Sub yc()
   
2.     Dim htm1 As New XMLHTTP
   
3.     Dim str As String, ar
   
4.     Dim reg As New RegExp
   
5.     Dim arr
   
6.     Dim i, j, m, n
   
7.     Sheet4.Cells(4, 1).Resize(65533, 20).ClearContents
   
8.     With htm1
   
9.         .Open "POST", "http://cn.zso8.com/odds/search/", False
   
10.         .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    
11.         .setRequestHeader "Referer", "http://cn.zso8.com/odds/search/"
    
12.         .send "type=2&CompanyID=11%7C%E6%BE%B3%E9%97%A8&leagueID=36&teamID=0&kind=1&port=&odds1=&do0=%E7%A1%AE%E5%AE%9A"
    
13.         str = .responseText
    
14.         Debug.Print str
    
15.     End With
    
16.     With reg
    
17.         .Global = True
    
18.         .MultiLine = True
    
19.         .Pattern = "\s"
    
20.         str = .Replace(str, "")
    
21.         .Pattern = ".*?(<trid.*)"
    
22.         str = .Replace(str, "$1")
    
23.         .Pattern = "&nbsp;"
    
24.         str = .Replace(str, "")
    
25.         .Pattern = "<tr.*?>"
    
26.         str = .Replace(str, "y")
    
27.         .Pattern = "<.*?>"
    
28.         str = .Replace(str, "a")
    
29.         Debug.Print str
    
30.         .Pattern = "ya+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+(.*?)a+"
    
31.         Set ar = .Execute(str)
    
32.         ReDim arr(0 To ar.Count, 19)
    
33.         For i = 0 To ar.Count - 1
    
34.             For j = 0 To 19
    
35.                 arr(i, j) = ar.Item(i).SubMatches(j)
    
36.             Next
    
37.         Next
    
38.         n = Sheet4.Range("a65533").End(xlUp).Row
    
39.         Sheet4.Cells(n + 1, 1).Resize(ar.Count - 1, 20) = arr
    
40.     End With
    
41. End Sub
    

复制代码

wcymiss

zongyj 发表于 2014-12-3 13:35
英超数据，请问老师正则中(.*?)a+........(.*?)a+怎么简化

你想得到n个Submatches就只能n个（）了。

ya+(?:(.*?)a+)+ 这样的只能得到1个submatches

或者你用两个正则对象。或者改用split等其他方式。

假如你只是需要书写上的简化的话，可以replace(sring(20,"*"),"*","(.*?)a+"))

renahu

renahu 发表于 2014-12-3 08:46
吴老师几个登陆练习就差网易登陆没有成功了，还是想问一问网易登陆的问题：

这是我在fiddler中寻找登陆 ...

登陆 http://mail.163.com/
这个就有的
顺便说一下，我的系统是win7-64, 2010，IE11