不懂html也来学网抓（xmlhttp/winhttp+fiddler）

blanksoul12

謝謝解答.這帖真好

liucqa

对好多有采集需求的人来说，看看教程，获取数据并不难。难的是不知道如何处理采集到的数据，并生成自己需要的格式，这肯定不是看看教程就能学会的。

你可以多做一些处理采集到的数据的案例，结合数组、字典、字符串处理、正则等几个方面给出例子

谢谢！

睡醒的我

wcymiss 发表于 2014-10-23 16:12
缓存的困扰
用xmlhttp对象GET数据时，会优先从缓存中调取。

wcymiss大师，能不能帮忙举个含有需要登录用户名和密码的网站抓取的例子，让我们这些菜鸟观摩学习下....本帖中没找到这个例子...无从下手，有个例子可以从代码中获得感悟，有助于我们这些菜鸟理解.....

wcymiss

liucqa 发表于 2014-10-24 09:50
对好多有采集需求的人来说，看看教程，获取数据并不难。难的是不知道如何处理采集到的数据，并生成自己需要 ...

大哥，您老怎么老是看帖看一半啊。。。。

46楼就是模拟cookie欺骗服务器的例子。。。

还有70楼也是。

关于Cookie，我也是尽可能把我所知道的都写出来了。

liucqa

wcymiss 发表于 2014-10-24 10:03
大哥，您老怎么老是看帖看一半啊。。。。

46楼就是模拟cookie欺骗服务器的例子。。。

哦，帖子太长，没时间一一细看。

你可以重点写后期的数据处理，这个才是大部分人不得不花钱找人写代码的根本原因

wcymiss

代理
如果服务器对同一IP有访问次数的限制，我们就要使用代理服务器了。

winhttp对象有SetProxy方法可以设置代理服务器，具体语句是：

SetProxy 2,"xxx.xxx.xxx.xxx:xxxx"

测试代码(代理服务器地址可能已失效)：

1. Sub Main()
   
2.     Dim strText As String
   
3.     With CreateObject("WinHttp.WinHttpRequest.5.1")
   
4.         .SetProxy 2, "218.75.100.114:8080"
   
5.         .Open "GET", "http://20140507.ip138.com/ic.asp", False
   
6.         .send
   
7.         strText = ByteToStr(.Responsebody, "GB2312")'请自行拷贝之前的常用函数
   
8.         Debug.Print strText
   
9.     End With
   
10. End Sub

复制代码

---------------------------------------------------------------
小贴士：
不知大家在测试中发现没，fiddler可以抓到vba中xmlhttp发送请求，但无法抓到winhttp的发送请求。

有时我们调试时，会需要比较代码的发送请求与我们实际操作的发送请求是否一致，但fiddler无法抓到winhttp，怎么办呢？

你当然可以用其他抓包软件抓包。

但更快捷的做法就是，在winhttp中设置代理为"127.0.0.1:8888"。

1. .SetProxy 2,"127.0.0.1:8888"

复制代码

因为fiddler监视的8888端口，我们设定winhttp的数据由8888进出，fiddler就能抓到包了。

wcymiss

留空。

snailzlf

老师在吗  能否帮忙看下  如果数据能在网页看到但是源码里看不到该怎么抓，谢谢了http://club.excelhome.net/thread-1160614-1-1.html

VBA万岁

onlycxb 发表于 2014-10-23 16:44
新手作业

onlycxb大侠，想请教你一个问题：
我想提取如下数据：


我这里用Fiddler2抓到的数据，如下：


我想用如下代码提取开奖数据到Excel表，却被提示“无法显示页面，因为发生内部服务器错误。”，不知抓取数据的代码应该怎样编写（或修改）？
Sub 按钮1_单击()
    Dim Url, html
    Url = "http://www.pinble.com/Lottery/Template/WebService1.asmx/PresentList"
    Set html = CreateObject("htmlfile")
    With CreateObject("msxml2.xmlhttp")
        .Open "POST", Url, False
        .setRequestHeader "Content-Type", "application/json"
        .setRequestHeader "Referer", "/Template/WebService1.asmx/PresentList"
        .send
        html.body.innerhtml = .responseText
        Cells(1, 1) = .responseText
        Set tb = html.all.tags("table")(4).Rows
        For i = 0 To tb.Length - 1
            For j = 1 To tb(i).Cells.Length - 1
                Cells(i + 1, j) = tb(i).Cells(j).innertext
            Next
        Next
    End With
End Sub

wcymiss

提取数据-下载文件
知道下载文件的真实地址，就能很方便的用xmlhttp或winhttp下载文件。

下载文件同样可以通过fiddler抓包。

打开fiddler，点击下载链接，出现文件下载窗口时点击“取消”即可。

在fiddler里查看抓到的Session前面的图标，文档的下载地址前面的图标一般是
音乐、图片也都有明确的图标，一看便知。

得到下载地址后，用xmlhttp/winhttp获取文件流（二进制数据），然后把文件流转成文件。

示例代码如下：(注意此时用的是Responsebody而不是Responsetext）

1. Sub Main()
   
2.     Const strFileName As String = "C:\测试EH下载文件.rar"
   
3.     With CreateObject("MSXML2.XMLHTTP") 'CreateObject("WinHttp.WinHttpRequest.5.1")
   
4.         .Open "GET", "http://club.excelhome.net/forum.php?mod=attachment&aid=MTA2MjQ1MHw0MDQxMTAzOHwxNDE0MTIxNTg0fDIxODkxN3w4MDk5MjQ%3D", False
   
5.         .Send
   
6.         ByteToFile .responsebody, strFileName
   
7.     End With
   
8. End Sub

复制代码

小贴士：
1、登录才能下载的文件，真实地址是在登录后服务器临时生成的一个地址。地址得到后，是否登录就无关紧要了。
2、最好事先知道要下载的文件的类型。否则，如果地址中能看出文件类型最好，不然你就只能根据文件结构去判断文件类型了。这个很麻烦。