批量下载网页

a4569874

麻烦说下这个如何实现VBA批量下载并保存网页,网页的地址以提取到在excel B列中
每次下载都带上伪造的RequestHeader和cookie才能下载

Sub Main()
      Dim strText As String
    With CreateObject("WinHttp.WinHttpRequest.5.1") '
        .Open "GET", "文件地址(B栏)", False
          .setRequestHeader "Accept-Encoding", "identity"
          .setRequestHeader "Cookie","C栏"
          .setRequestHeader "User-Agent", "Apache-HttpClient/UNAVAILABLE (java 1.4)"
          .Send
          strText = .responsetext
          Debug.Print strText
      End With
End Sub


excel的排布如下表
例子(例子中的下载地址是不需要伪造cookie和RequestHeader)

序号	文件地址	伪造的cookie栏	保存时文件名
1	http://mmsns.qpic.cn/mmsns/DczbRN9ysbnlk6tnJ6RwN2PWIhCXI9lEJRSsR8WG43bJueeX3MJugQ/0	伪造的cookie1	2013-10-11.jpg
2	http://mmsns.qpic.cn/mmsns/DczbRN9ysbnVGORdoy6f0VcjeKYd6W4gqBUiaqftykzicj6ObjWHIl7w/0	伪造的cookie2	2013-10-10.jpg
3	http://mmsns.qpic.cn/mmsns/DczbRN9ysblVV4KbccnLcsmOy4x2HGicLibLIQLeskwdic8ibM1w14e6Iw/0	伪造的cookie3	2013-10-09.jpg
4	http://mmsns.qpic.cn/mmsns/DczbRN9ysbmWfqIIwQUCT1F6A6xLHGuJFbyqjLQowFaxfFY8ANnVaw/0	伪造的cookie4	2013-10-08.jpg
5	http://mmsns.qpic.cn/mmsns/DczbRN9ysblWBUxuehg9A7Q6ibqXvEw3Evf7pRjMQwNoBvwhmcacqIQ/0	伪造的cookie5	2013-10-07.jpg
6	http://mmsns.qpic.cn/mmsns/DczbRN9ysbkAcsXt7Fv9dDyFIpIQBpiasuQ10D8vESLibIvUbrnhIa8w/0	伪造的cookie6	2013-10-06.jpg

有设定代理服务器地址及端口的功能,同时设置每个文件的下载间隔为1秒

先谢谢了

coby001

mmsns.qpic.cn
域名是同一个，cookie是相同的，不必换cookie
换 mmsns/ 后面的地址即可

a4569874

coby001 发表于 2014-10-26 16:39
mmsns.qpic.cn
域名是同一个，cookie是相同的，不必换cookie
换 mmsns/ 后面的地址即可

那个是个excel排布的例子,并非我要下载的真实网页,提取的域名确实一样,但是那个网站有cookie限制,比如一个帐号,一分钟只能浏览十次,超过次数就出错,一分钟后才能正常浏览,因此效率很低,很有必要伪造cookie突破浏览限制

a4569874

coby001 发表于 2014-10-26 16:39
mmsns.qpic.cn
域名是同一个，cookie是相同的，不必换cookie
换 mmsns/ 后面的地址即可

有时候一分钟浏览超过十次后直接给出错误数据,因此很有必要伪造cookie突破次数阀值限制,问下大神这样的VBA代码怎么实现,多谢了

coby001

a4569874 发表于 2014-10-26 16:49
有时候一分钟浏览超过十次后直接给出错误数据,因此很有必要伪造cookie突破次数阀值限制,问下大神这样的VB ...

注册多个帐号。。。。。。。

a4569874

coby001 发表于 2014-10-26 16:54
注册多个帐号。。。。。。。

恩,如何通过多帐号的cookie按照上面的excel排布批量下载?麻烦大神弄个VBA,先谢谢了

coby001

a4569874 发表于 2014-10-26 16:57
恩,如何通过多帐号的cookie按照上面的excel排布批量下载?麻烦大神弄个VBA,先谢谢了

用一个xmlhttp 类型的数组

dim xhrArr() as XMLHTTP
或者
dim xhrArr() as WinHttpRequest

Redim xhrArr(1 to 帐号个数) '有几个帐号就定义几个

每个xhrArr() 元素保持一个帐号的会话，cookie也各自不同。

a4569874

coby001 发表于 2014-10-26 17:19
用一个xmlhttp 类型的数组

dim xhrArr() as XMLHTTP

刚接触VBA,很深奥,能否按照直接按照上面的excel排布和功能需求(每个文件的下载间隔为1秒,有设定代理服务器地址及端口的功能,和setRequestHeader)直接给个VBA批量下载的代码?

a4569874

coby001 发表于 2014-10-26 17:19
用一个xmlhttp 类型的数组

dim xhrArr() as XMLHTTP

和这里的功能类似http://club.excelhome.net/thread-1062290-1-1.html ,就是下载文件的时候把怎么伪造的setRequestHeader带上一起发送,

coby001

Sub AJAX_test()
    Dim xhrArr() As XMLHTTP, vArrRspBody(), byteArr() As Byte   
    ReDim xhrArr(10)   
    ReDim vArrRspBody(10)

    Dim i&
    For i = 0 To 10
        Set xhrArr(i) = New XMLHTTP
        With xhrArr(i)
            .Open "GET", "http://www.baidu.com", False    ', bstrUser, bstrPassword
            .Send           
            byteArr = .ResponseBody  ' .ResponseText
            vArrRspBody(i) = byteArr
            Erase byteArr
        End With
    Next
End Sub


-----
示例~~