关于网页数据抓取的问题

onlycxb

1. Sub t()
   
2.     Dim objWinHttp, Url$, Str$, m%, n%, i%, j%
   
3.     Dim arr
   
4.     Url = "http://www.gzgczj.com:8080/costRegulatory/project.do"
   
5.     Set objWinHttp = CreateObject("WinHttp.WinHttpRequest.5.1")
   
6.     With objWinHttp
   
7.         '第一次post
   
8.         .Open "POST", Url, False
   
9.         .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
   
10.         .setRequestHeader "Cookie", "JSESSIONID=2DC7701F8631495E370469482999EFE6"
    
11.         .setRequestHeader "Referer", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1"
    
12.         .send "method=showProjectList&frecordProstatus=1010&isVisitor=1&fprojAreaId=-1&fprojName=&page.pageNO=1"
    
13.         m = Split(Split(.responseText, "共")(1), "页")(0)     '得到总页数
    
14.         '以取2页为例
    
15.         For i = 1 To 2                                      'm
    
16.             .Open "POST", Url, False
    
17.             .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
    
18.             .setRequestHeader "Cookie", "JSESSIONID=2DC7701F8631495E370469482999EFE6"
    
19.             .setRequestHeader "Referer", "http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1"
    
20.             .send "method=showProjectList&frecordProstatus=1010&isVisitor=1&fprojAreaId=-1&fprojName=&page.pageNO=" & i
    
21.             Str = VBA.Replace(.responseText, vbCrLf, "")
    
22.             arr = Split(Str, "<TD class=""c_td"" width=""65%"">")
    
23.             Cells.ClearComments                             '清除工作表内原数据
    
24.             For j = 1 To UBound(arr)
    
25.                 n = n + 1
    
26.                 Cells(n, 1) = n
    
27.                 Cells(n, 2) = Split(arr(j), "</TD>")(0)     '工程名称
    
28.                 '其他数据省略
    
29.             Next j
    
30.         Next
    
31.     End With
    
32. End Sub

复制代码

onlycxb

VBA万岁

onlycxb 发表于 2014-10-19 22:27

在不同的两台电脑（网络连接不同）上测试此代码，一台通过，另一台弹出如下错误提示，5楼的附件测试情况也如此：

pythonzhang143

VBA万岁 发表于 2014-10-21 11:33
在不同的两台电脑（网络连接不同）上测试此代码，一台通过，另一台弹出如下错误提示，5楼的附件测试情况也 ...

你看一下是不是不ok的那台电脑的winhttp服务被关掉了。

onlycxb

很久以前的贴子被翻出来了

t13564865256

VBA万岁 发表于 2014-10-21 11:33
在不同的两台电脑（网络连接不同）上测试此代码，一台通过，另一台弹出如下错误提示，5楼的附件测试情况 ...

我现在遇到和你一样的问题了，你当时是如何解决的？能否给个建议。

t13564865256

VBA万岁 发表于 2014-10-21 11:33
在不同的两台电脑（网络连接不同）上测试此代码，一台通过，另一台弹出如下错误提示，5楼的附件测试情况 ...

你特地强调，两台电脑的网络连接不同，到底是哪里不同。迫切等待你的答复，希望能解决我的问题。

VBA万岁

t13564865256 发表于 2015-12-16 10:59
你特地强调，两台电脑的网络连接不同，到底是哪里不同。迫切等待你的答复，希望能解决我的问题。

我也没解决这个问题：
出错的是公司的电脑（网络）；个人电脑上一年前测试通过。

t13564865256

VBA万岁 发表于 2015-12-16 16:40
我也没解决这个问题：
出错的是公司的电脑（网络）；个人电脑上一年前测试通过。

我后来解决了，这方面资料国内还真少人说，翻墙到国外帖子才解决。只要设置代理服务器就可以了。

onlycxb

t13564865256 发表于 2015-12-16 16:44
我后来解决了，这方面资料国内还真少人说，翻墙到国外帖子才解决。只要设置代理服务器就可以了。