网页抓取分享

blanksoul12

不好意思,http://club.excelhome.net/thread-1162196-1-1.html 這個最後我做的那個數組,如果要用JAVA來分開資料,怎麼做,有參考你的代碼但做不出來.............

blanksoul12

不好意思,http://club.excelhome.net/thread-1162196-1-1.html 這個最後我做的那個數組,如果要用JAVA來分開資料,怎麼做,有參考你的代碼但做不出來.............

onlycxb

此问题因是一个赤裸裸的索取代码者提出的，现只提供实现方法，供参考：
两种方式可以实现：
第一种是提取总页码，逐页查询数据（这种是可以做的，有兴趣的可以偿试。）
   
另一种是直接提取数据记录总数（代码实现在老师的帮助指导下完成，在此感谢！）
1.利用http://datainterface.eastmoney.c ... y=GGMX&p=1&ps=1&js=(pc),(x)取得记录总数，将记录数赋予ST
2.利用http://datainterface.eastmoney.c ... ype=GG&sty=GGMX&ps=" & St & "&js=var%20TotsDJOt={pages:(pc),data:[(x)]}&rt=" & Rnd，根据代码中ST值设定提取相关数据。

VBA万岁

renahu 发表于 2014-10-31 20:34
我找到的网址跟你找到的，前面一样，后面怎么不一样啊？我搜索的是首末车时间 05:05-23:15
“前面一样 ...

我的情况和你一样，但经测试，用自己抓包获得的地址运行也通过。原因见89楼。

renahu

VBA万岁 发表于 2014-11-1 07:38
我的情况和你一样，但经测试，用自己抓包获得的地址运行也通过。原因见89楼。

你找到第一个例子中的那些单位了吗，我感觉只搜索“北京一号线”得到的只是车站信息，这些单位没得到，不知道 onlycxb 老师搜索的时候又加了什么附带项，或许是商区，还外加哪个区之类的

另外，你在fiddler中搜索的时候，response窗口中的汉字因为没有转码，所以都是用一些代码表示的，如 \u7f8e
\u98df 表示 “美食”等，所以你搜索的时候怎么搜中文内容呀？我搜的时候，就只用了地铁首末车时间：05:10-22:55

renahu

onlycxb 发表于 2014-10-31 20:49
有些参数是可以省略的，具体可实测。

老师，我发现有的参数一旦省略，搜到的东西就变了，您看我这帖子里的提问：53楼
http://club.excelhome.net/thread-1156314-6-1.html

我猜想您第一个例子中的url一定删了不少参数，所以我找到的完整地址没法和您的地址对上

onlycxb

看到一直讨论的编码转换问题，提供一小段代码，供参考。

1. Sub 转码示例01()
   
2.     Debug.Print escape("搜房网")                                '输出结果：%u641C%u623F%u7F51
   
3.     Debug.Print ChtoJ3("搜房网")                                '输出结果：\u641c\u623f\u7f51
   
4.     Debug.Print unescape("%u641C%u623F%u7F51")                  '输出结果：'搜房网
   
5.     Debug.Print unescape("\u641c\u623f\u7f51")                  '输出结果：搜房网
   
6. End Sub
   

复制代码

1. 
   
2. Function escape(strInput As String) As String
   
3.     With CreateObject("msscriptcontrol.scriptcontrol")
   
4.         .Language = "JavaScript"
   
5.         escape = .Eval("escape('" & strInput & "');")
   
6.     End With
   
7. End Function
   

复制代码

1. 
   
2. Function unescape(strTobecoded As String) As String
   
3.     With CreateObject("msscriptcontrol.scriptcontrol")
   
4.         .Language = "JavaScript"
   
5.         unescape = .Eval("unescape('" & strTobecoded & "');")
   
6.     End With
   
7. End Function
   

复制代码

1. 以下两个函数及网上搜集，因提出歧义，因此删减
   
2. Function UTF8toChineseCharacters(szInput)
   
3. Function ChinesetoUTF8(szCode As String)
   

复制代码

1. 
   
2. '自定义汉字转j3码
   
3. Function ChtoJ3(szCode As String)
   
4.     With CreateObject("MSScriptControl.ScriptControl")
   
5.         .Language = "JavaScript"
   
6.         .addcode "function decode(str){return escape(str).replace(/%/g,'\\')}"
   
7.         ChtoJ3 = .Eval("decode('" & szCode & "')")
   
8.     End With
   
9. End Function

复制代码

VBA万岁

onlycxb 发表于 2014-11-1 12:34
看到一直讨论的编码转换问题，提供一小段代码，供参考。

多谢分享！......

bluexuemei

onlycxb 发表于 2014-11-1 12:34
看到一直讨论的编码转换问题，提供一小段代码，供参考。

Function ChinesetoUTF8(szCode As String)
    With CreateObject("MSScriptControl.ScriptControl")
        .Language = "JavaScript"
        .addcode "function undecode(str){return escape(str.replace(/\u/g,'%u'));}"
        ChinesetoUTF8 = .Eval("undecode('" & szCode & "')")
    End With
End Function
这个函数就多余了，其中str.replace(/\u/g,'%u')根本是多余的，这个函数其实就是第二个函数

bluexuemei

第5个函数就是在第一个函数的基础上去掉%而已。其实总共就两个JS函数escape 和unescape的运用