网页抓取分享

VBA万岁

onlycxb 发表于 2014-10-31 11:01
Sub CopyToClipbox(strText As String)
    '文本拷贝到剪贴板
    With CreateObject("new:{1C3B4210-F4 ...

可拷贝到剪贴板后，再粘贴回记事本时，依然如故。

onlycxb

这个是需要转码的
js本身就具有转此码功能。

VBA万岁

onlycxb 发表于 2014-10-31 11:15
这个是需要转码的
js本身就具有转此码功能。

试过你曾经用过的 encodeURI函数进行转码，不成功。
再尝试吴姐介绍过的多种转码方法，依然失败。
另，想知道js.eval是否具有转码功能？

onlycxb

VBA万岁 发表于 2014-10-31 11:26
试过你曾经用过的 encodeURI函数进行转码，不成功。
再尝试吴姐介绍过的多种转码方法，依然失败。
另， ...

1. Sub 百度地图_北京地铁1号钱()
   
2.     Dim url, js, p, slen, i, n
   
3.     Set js = CreateObject("scriptcontrol")
   
4.     [a2:b20].ClearContents
   
5.     js.Language = "jscript"
   
6.     For p = 1 To 4
   
7.         url = "http://map.baidu.com/"
   
8.         url = url & "?newmap=1"
   
9.         url = url & "&qt=s"
   
10.         url = url & "&c=218"
    
11.         url = url & "&wd=北京地铁1号线"
    
12.         url = url & "&nn=" & (p - 1) * 10
    
13.         url = url & "&ie=utf-8"
    
14.         With CreateObject("msxml2.xmlhttp")
    
15.             .Open "get", url, False
    
16.             .send
    
17. '这里加上了多余的debug.print及unescape函数
    
18.             Debug.Print unescape(.responsetext)
    
19.             
    
20.             js.addcode ("dy= " & .responsetext)
    
21.             slen = js.Eval("dy.content.length") - 1
    
22.             For i = 0 To slen
    
23.                 n = n + 1
    
24.                 Cells(n + 1, 1) = js.Eval("dy.content[" & i & "].name")
    
25.                 Cells(n + 1, 2) = js.Eval("dy.content[" & i & "].addr")
    
26.                 Cells(n + 1, 3) = js.Eval("dy.content[" & i & "].alias")
    
27.             Next
    
28.         End With
    
29.     Next
    
30. End Sub
    
31. 
    
32. 
    
33. 
    
34. Function unescape(strTobecoded As String) As String
    
35.     With CreateObject("msscriptcontrol.scriptcontrol")
    
36.         .Language = "JavaScript"
    
37.         unescape = .Eval("unescape('" & strTobecoded & "');")
    
38.     End With
    
39. End Function

复制代码

VBA万岁

onlycxb 发表于 2014-10-31 11:15
这个是需要转码的
js本身就具有转此码功能。

终于通过以下函数转码成功（相关链接：http://club.excelhome.net/thread-1159783-33-1.html）：
Function UTF8toChineseCharacters(szInput)
    With CreateObject("MSScriptControl.ScriptControl")
    .Language = "JavaScript"
    .AddCode "function decode(str){return unescape(str.replace(/\u/g,'%u'));}"
    UTF8toChineseCharacters = .Eval("decode('" & szInput & "')")
    End With
End Function

Mark如附件：
初识JSON.zip (1.66 MB, 下载次数: 66)

2014-10-31 14:32 上传

点击文件名下载附件

VBA万岁

onlycxb 发表于 2014-10-31 11:40

谢谢，通过你的unescape函数，也转码成功！

onlycxb

VBA万岁 发表于 2014-10-31 11:54
谢谢，通过你的unescape函数，也转码成功！

其实不用转码。看到此类型数据直接放入js中，观察并取得数据即可。

VBA万岁

onlycxb 发表于 2014-10-31 11:57
其实不用转码。看到此类型数据直接放入js中，观察并取得数据即可。

转码后看起来直观——由于我这里打不开代码中的网址，所以无法抓包观看responseText数据，只好将其转码后复制到Excel表，从而学习代码。
顺便问一下，抓包时看到的responseText数据应该是已经转码的数据吧？

renahu

我到这里来一个一个学实例，从第一个例子开始，老师，怎么没有网址呀？代码里的url是fiddler里抓出来的，用这个打开网页再来抓不知道行不行？

VBA万岁

VBA万岁 发表于 2014-10-31 12:14
转码后看起来直观——由于我这里打不开代码中的网址，所以无法抓包观看responseText数据，只好将其转码 ...

终于可以通过以下方法打开网址了：
打开百度地图：http://map.baidu.com/→在搜索框内填上“北京地铁1号”→单击“百度一下”→单击“地铁1号线”左侧的“详情”。随后对其进行抓包，即可见代码中的网址及responseText数据。
详见稍后更新的75楼附件。