不懂html也来学网抓（xmlhttp/winhttp+fiddler）

VBA万岁

renahu 发表于 2014-10-28 10:23
我也看见了，在response中有，这么说加和不加不影响最后效果了

我只能说在本例是这样。

renahu

wcymiss 发表于 2014-10-21 21:55
获取数据-防盗链的处理-模拟Cookie：

再次提醒，抓包前请先清除浏览器所有Cookie、缓存、历史数据。

吴老师，是不是在模拟cookie的时候就不用加：.setRequestHeader "Content-Type"。。。。。了？

renahu

wcymiss 发表于 2014-10-22 12:30
新手作业：

网站：http://weibo.com/guide/welcome

吴老师，能不能针对这段学习内容再布置另一个作业，不好意思，我没有微博，但想实战用一下模拟cookie

renahu

renahu 发表于 2014-10-28 11:02
吴老师，是不是在模拟cookie的时候就不用加：.setRequestHeader "Content-Type"。。。。。了？

但我看到例子中，这段已经没有了，是不是就不需要了呢？

renahu

renahu 发表于 2014-10-28 11:02
吴老师，是不是在模拟cookie的时候就不用加：.setRequestHeader "Content-Type"。。。。。了？

但我看到例子中，这段已经没有了，是不是就不需要了呢？

VBA万岁

coby001 发表于 2014-10-27 10:47
在这个网页中，数据所在的table有唯一标识：id="Table1"

用这个特征，可以迅速找到数据。

Mark如附件：
今日在售银行产品.zip (667.61 KB, 下载次数: 114)

2014-10-28 11:49 上传

点击文件名下载附件

wcymiss

初识登录

登录其实没那么神秘。它也就是向服务器发送的一个POST请求。

我们来看一个简单的登录例子，以网易信箱（163.com）为例。

打开Fiddler，打开浏览器，登录网易信箱同时抓包。
搜索登录名vbatest（今天新注册的，你们可以随便整。哈哈）：



前面有 标记的表明是POST请求。



选择该session，点击Request框的Raw按钮通览一下所有发送内容：



password竟然是明码，小小鄙视下网易。


再看Response框。哇，满满的Set-Cookie啊。最关键的里面有一句“LOGIN_SUCCESS”！！



这样可以确定这个session是我们要找的登录session了！我们只要把它的Request的内容模拟好了就能成功登录（好期待）。

点击Request框的WebForms按钮通览发送的各参数：



居然没有动态参数。。（乐坏了）

cookie、referer的先不忙测试。先copy抓包内容，写代码：

1. Sub Main()
   
2.     Const username As String = "vbatest"
   
3.     Const password As String = "12341234"
   
4.     Dim strText As String
   
5.     Dim uid As String
   
6.     uid = username & "@163.com"
   
7.     With CreateObject("MSXML2.XMLHTTP")
   
8.         .Open "POST", "https://mail.163.com/entry/cgi/ntesdoor?df=mail163_letter&funcid=loginone&iframe=1&passtype=1&product=mail163&race=63_31_31_gz&uid=" & username & "@163.com", False
   
9.         .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
   
10.         .Send "savelogin=0&url2=http%3A%2F%2Fmail.163.com%2Ferrorpage%2Ferror163.htm&username=" & username & "&password=" & password & "&password="
    
11.         strText = .getallresponseheaders
    
12.         Debug.Print strText
    
13.         strText = .responsetext
    
14.         Debug.Print strText
    
15.     End With
    
16. End Sub

复制代码

立即窗口：



登录成功！


小贴士：
1、不要以密码作为搜索内容。密码经常被加密。以密码原文作为搜索内容很可能搜不到所需session。
2、以登录名作为搜索内容相对好些。但也有可能被加密而搜不到正确的session。这时搜到的包含登录名的最早的session可能是登录后出现的页面。登录的session前面一般都有post的图标，可以根据这个再加上查看Request和Response的内容判断是否是我们所需的登录session。

===============
经过kangatang提醒，本例经过测试，将SendData的参数作为URL的参数用GET请求也可以实现登录，代码如下（原SendData的参数我精简了，只留了用户名和密码）：

1. Sub Main()
   
2.     Const username As String = "vbatest"
   
3.     Const password As String = "12341234"
   
4.    
   
5.     With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1") '
   
6.         .Open "GET", "https://mail.163.com/entry/cgi/ntesdoor?df=mail163_letter&funcid=loginone&iframe=1&passtype=1&product=mail163&race=63_31_31_gz&uid=" & username & "@163.com&" & "username=" & username & "&password=" & password, False
   
7.         .send
   
8.         Debug.Print .Getallresponseheaders
   
9.         Debug.Print .responsetext
   
10.     End With
    
11. End Sub

复制代码

但不是所有的网站都可以这样的。这只是个例。

liangdonghao222

wcymiss 发表于 2014-10-28 11:50
初识登录

登录其实没那么神秘。它也就是向服务器发送的一个POST请求。

老师 拜读了你的帖子很牛，我一直用ie控制方法，但是速度相对慢，我想请教就是 假如碰到有框架的内容 或者有链接跳转的  怎么把内容一次过采集下来？

kangatang

wcymiss 发表于 2014-10-28 11:50
初识登录

登录其实没那么神秘。它也就是向服务器发送的一个POST请求。

如果玩邮箱的话 用SMTP/POP3等协议最合适。另外登录163邮箱把账号密码直接写在一条链接地址就能登录。FYI

renahu

wcymiss 发表于 2014-10-22 15:30
获取数据-防盗链的处理-模拟User-Agent

很少遇到需要模拟User-Agent的网页。

关于“User-Agent”没太明白，既然是伪装手机在电脑上操作，是不是应该退出登录（因为您说手机可以在不登录的情况下查看所有会员的主题或回复）？可我退出登录后，点击任一用户名，系统提示你必须登录，如何是好？