不懂html也来学网抓（xmlhttp/winhttp+fiddler）

renahu

VBA万岁 发表于 2014-10-23 17:22
将'On Error Resume Next
前面的逗号去掉看看。

这回倒是不报错了，但什么数据都没有，我这是2010, 对了，执行后自动用360浏览器打开了银行网页

战战如疯

wcymiss 发表于 2014-10-23 09:53
之前提过，QQ软件也可以用Fiddler抓包。
我们来抓抓群成员的清单。
1、打开fiddler，打开群聊天窗口，“群 ...

之前不知道fidder，为了取群成员数据我还用IE法跑到群空间去抓的，绕了好大一个圈。。。

战战如疯

有了这个帖子新学网抓的朋友们有福了，好多东西靠自己摸索还不知道要多久

renahu

VBA万岁 发表于 2014-10-21 17:14
正需要这个，多谢分享！

想问一下，你的那个 Sub 作业1_2_获取航班信息数据() 中
arr = Split(St, "<div class=""menu_layout2"">")   
数组元素怎么有52个？ 我在RawFile文件中搜索怎么只有6个  <div class="menu_layout2">  ？

明白了，日期不一样，所以信息不一样

blanksoul12

blanksoul12 发表于 2014-10-23 17:49
在34樓第三點時,運行到 Debug.Print strText 這句後看即時窗時,只發現
Date: Thu, 23 Oct 2014 09:41: ...

我直接COPY妳那個程序出來的

wcymiss

blanksoul12 发表于 2014-10-23 22:56
我直接COPY妳那個程序出來的

晚上正在找重定向的例子进行测试的时候，发现了我电脑winhttp控件居然有个bug。

我的winhttp对于301重定向的网页运行正常，对于302重定向的网页，不管option(6)怎么设置，都不会重定向到新的网页。汗！！

34楼的这个网页，正好是一个302重定向的网页，所以我的winhttp没有进行重定向，返回的信息是原网页的。我还以为option(6)默认是false,测试了才发现默认是true

正确的代码应该还要加一句“.option(6)=false

1. Sub Main()
   
2.     Dim strText As String
   
3.     Dim strCookie As String
   
4.     With CreateObject("WinHttp.WinHttpRequest.5.1")
   
5.         .Option(6) = False ' 禁止重定向，以获取原网页信息
   
6.         .Open "GET", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1", False
   
7.         .Send
   
8.         strText = .getAllResponseHeaders '获取所有的回应头信息
   
9.         Debug.Print strText
   
10.         strCookie = Split(Split(strText, "JSESSIONID=")(1), ";")(0) '取出Cookie值
    
11.         
    
12.         .Open "GET", "http://www.gzgczj.com:8080/costRegulatory/project.do?method=showProjectList&isVisitor=1&f_id=11011&t1413902083242", False
    
13.         .setRequestHeader "Referer", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1"
    
14.         .setRequestHeader "Cookie", strCookie '模拟Cookie
    
15.         .Send
    
16.         strText = .responsetext
    
17.         Debug.Print strText
    
18.         
    
19.     End With
    
20. End Sub

复制代码

blanksoul12

.option(6)=false
可否講解一下什麼叫重定向呢

wcymiss

重定向

重定向用到的不多，可以稍微了解一下。
你向服务器申请访问地址A，服务器回应你，给你一个新地址B，让你访问它，这就是重定向。（具体请百度）
34楼的例子就是一个重定向的例子。


xmlhttp会自动重定向到B地址，发送B地址的请求。
winhttp有参数可以设置是否重定向：
.Option(6)=false'禁止重定向
.Option(6)=true'允许重定向，默认设置

需要获取重定向之前网页信息的时候，就需要用winhttp设置Option(6)=false来获取了。
比如获取原网页的Cookie。可以参考106楼的代码。

题外话：
发现我电脑有bug：
对于301重定向网页，xmlhttp访问出错，winhttp正常，设置option(6)有效；
对于302重定向网页，xmlhttp可以正常重定向，winhttp不管怎么设置option(6)都无法进行重定向，返回的一直都是原网页信息。
34楼的例子是302重定向。
301重定向例子：http://widget.wumii.com/ext/relatedItemsWidget.htm
我重新下载了一个winhttp.dll也无效。估计是window问题。改天有空重新找个版本GHO

======================================================
经过大师xmyjk的提醒，xmlhttp访问301重定向网页出错的原因是Internet禁止了通过域访问数据源。
Iinternet选项----安全----Internet----自定义级别----其他----通过域访问数据源，选择“启用”即可。

liucqa

wcymiss 发表于 2014-10-23 23:16
晚上正在找重定向的例子进行测试的时候，发现了我电脑winhttp控件居然有个bug。

我的winhttp对于301重 ...

如果获得的Cookie不需要再加工的话，后继的提交可以不带Cookie，Winhttp会自己带着之前获得的Cookie提交的。

你可以试试屏蔽 .setRequestHeader "Cookie", strCookie

一般情况下，我们说需要伪造Cookie，是因为我们想发送一个服务器没有提供给我们的cookie,以便伪造身份欺骗服务器。直接获得服务器的Cookie并不做加工的再次提交，很多情况下是不需要的。

你可以多找些网站测试，看看不同网站对Cookie的反应。

***********************************************************************


另外，在做网页交互的时候，不要轻易相信别人写的代码，如果能抱着怀疑一切的态度来测试别人提供的代码的话，你会发现论坛好多好多网页交互的代码和教程都是有错误的，包括我写的教程，呵呵

希望你的教程能早日完工，造福会员，谢谢！

VBA万岁

renahu 发表于 2014-10-23 21:14
想问一下，你的那个 Sub 作业1_2_获取航班信息数据() 中
arr = Split(St, "")   
数组元素怎么有52个？ ...

这个我也没细看——代码是在别人的，只是在我这里测试通过。