【网抓问题】如何抓取这个页面的内容到ABC 3列，如图（求大师解决）

Kaohsing

Allen2018 发表于 2017-2-15 10:32
fiddle抓包，简单的按 wcymiss 的教程还可以；这个所有数据都在 添加 那个按钮 点击才一个个出来，跟一般 ...

fiddle抓包，简单的按 wcymiss 的教程还可以；这个所有数据都在 添加 那个按钮 点击才一个个出来，跟一般的表格不一样，我一点思路都没有，如果得空，还望老师协助阿，谢谢！。。。。。。
你肯定没有仔细看大神吴姐的教程。 不需要点击按钮。你仔细看看回应头的json,在看看回应头的raw.至于如何取得数据，用正则或split，或者js==.随你熟练，随你用。

未忘初心

Sub Test()
    Dim url As String, winhttp As Object, data As String, objJSON As Object, k As Long
    Dim arr(1 To 48000, 1 To 3), js As Object, jsjosn As Object, ss As Object, Page As Integer
    url = "http://zxq.zxtom2.com/3341470/zxqlist!list.jsp"
    Set winhttp = CreateObject("winhttp.winhttprequest.5.1")
    Set js = CreateObject("scriptcontrol")
    js.Language = "jscript"
    For Page = 1 To 50
        data = "pageNum=" & Page & "&areaCode=0&companyId=0&orderTemp=0&from=&"
        With winhttp
            .Open "POST", url, False
            .setrequestheader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"
            .setrequestheader "Referer", "http://zxq.zxtom2.com/3341470/zxqlist.jsp"
            .setrequestheader "Host", "zxq.zxtom2.com"
            .send data
            DoEvents
            js.addcode "var mydata=" & .responsetext
            Set objJSON = js.CodeObject
            For Each ss In CallByName(objJSON.mydata, "Tlist", VbGet)
                k = k + 1
                arr(k, 1) = CallByName(ss, "name", VbGet)
                arr(k, 2) = CallByName(ss, "phone", VbGet)
                arr(k, 3) = "'" & CallByName(ss, "wechatNumber", VbGet)
            Next
            Set objJSON = Nothing
            Set ss = Nothing
            DoEvents
            Application.StatusBar = "正在获取 第 " & Page & "页 数据中"
        End With
    Next
    Range("A2").Resize(k, 3) = arr
    MsgBox "获取成功"
End Sub

Allen2018

未忘初心 发表于 2017-2-15 15:18
Sub Test()
    Dim url As String, winhttp As Object, data As String, objJSON As Object, k As Long
...

老师，你好，您的帮助我先心领了！谢谢您

还想再请教个问题，网页最上面有三个菜单【地区、公司、排序】，如何据此有选择的抓取？比如点击菜单只要【上海、无限极、实力指数排序】这样抓取

未忘初心

Allen2018 发表于 2017-2-15 18:37
老师，你好，您的帮助我先心领了！谢谢您

还想再请教个问题，网页最上面有三个菜单【地区、公司、排序 ...

如何抓取这个页面的内容到ABC 3列，如图 (1).zip (85.94 KB, 下载次数: 10)

2017-2-15 18:52 上传

点击文件名下载附件

请查看

Allen2018

未忘初心 发表于 2017-2-15 18:52
请查看

我的原意是  只要 【上海、无限极、实力指数排序】规则下的，不过太费神的话就算了

未忘初心

Allen2018 发表于 2017-2-15 22:36
我的原意是  只要 【上海、无限极、实力指数排序】规则下的，不过太费神的话就算了

1. Sub Test()
   
2.     Dim url As String, winhttp As Object, data As String, objJSON As Object, k As Long
   
3.     Dim arr(1 To 48000, 1 To 6), js As Object, jsjosn As Object, ss As Object, Page As Integer
   
4.     url = "http://zxq.zxtom2.com/3341470/zxqlist!list.jsp"
   
5.     Set winhttp = CreateObject("winhttp.winhttprequest.5.1")
   
6.     Set js = CreateObject("scriptcontrol")
   
7.     js.Language = "jscript"
   
8.     For Page = 1 To 50
   
9.         data = "pageNum=" & Page & "&areaCode=0&companyId=0&orderTemp=0&from=&"
   
10.         With winhttp
    
11.             .Open "POST", url, False
    
12.             .setrequestheader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"
    
13.             .setrequestheader "Referer", "http://zxq.zxtom2.com/3341470/zxqlist.jsp"
    
14.             .setrequestheader "Host", "zxq.zxtom2.com"
    
15.             .send data
    
16.             DoEvents
    
17. 
    
18.             js.addcode "var mydata=" & .responsetext
    
19.             Set objJSON = js.CodeObject
    
20.             For Each ss In CallByName(objJSON.mydata, "Tlist", VbGet)
    
21.                 If CallByName(ss, "cityName", VbGet) = "上海市" And CallByName(ss, "companyName", VbGet) = "无限极" And CallByName(ss, "strengthindex", VbGet) > 0 Then
    
22.                     k = k + 1
    
23.                     arr(k, 1) = CallByName(ss, "name", VbGet)
    
24.                     arr(k, 2) = CallByName(ss, "phone", VbGet)
    
25.                     arr(k, 3) = "'" & CallByName(ss, "wechatNumber", VbGet)
    
26.                     arr(k, 4) = CallByName(ss, "cityName", VbGet)
    
27.                     arr(k, 5) = CallByName(ss, "companyName", VbGet)
    
28.                     arr(k, 6) = "'" & CallByName(ss, "strengthindex", VbGet)
    
29.                 End If
    
30. 
    
31.             Next
    
32.             Set objJSON = Nothing
    
33.             Set ss = Nothing
    
34.             DoEvents
    
35.             Application.StatusBar = "正在获取 第 " & Page & "页 数据中"
    
36.         End With
    
37.     Next
    
38.     If k > 0 Then
    
39.         Range("A2").Resize(k, 6) = arr
    
40.         MsgBox "获取成功"
    
41.     Else
    
42.         MsgBox "没有获取到数据"
    
43.     End If
    
44. 
    
45. End Sub

复制代码

试试

Allen2018

未忘初心 发表于 2017-2-15 23:02
试试

老师，Page = 1 To 50，这个“50”可不可以根据条件准确算出来
或者，假设实际情况会有100页，代码写 Page = 1 To 100000，到101页自动停，这样的语法咋写？

学习您的代码后还有个问题
For Each ss In CallByName(objJSON.mydata, "Tlist", VbGet)，这里面的 Tlist出处从哪得出？

№▁▃风筝﹋

未忘初心 发表于 2017-2-15 18:52
请查看

请教一下：为何我这边测试代码，.responsetext得到的结果是{"state":"error"}？就是我加上抓包工具得到的cookie也一样？

未忘初心

Allen2018 发表于 2017-2-16 11:36
老师，Page = 1 To 50，这个“50”可不可以根据条件准确算出来
或者，假设实际情况会有100页，代码写 Pa ...

1.我测试过了 我发现 数据有时候多 有时候少 只能确定一个范围
2 .responsetext

把这个返回内容复制到剪切板 到 http://tools.jb51.net/tools/js_geshihua.asp 格式化 然后粘贴到记事本看看

未忘初心

№▁▃风筝﹋ 发表于 2017-2-16 12:11
请教一下：为何我这边测试代码，.responsetext得到的结果是{"state":"error"}？就是我加上抓包工具得到的 ...

什么系统 什么版本下测试的呢 按道理应该不会呀