ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2018-2-22 23:50 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
老师的帖子反复的看了几遍了,一些简单的网站也能抓下来了,可是我们公司内网网站系统太难搞了。还需要加油练习和摸索,还是非常感谢吴老师的。

TA的精华主题

TA的得分主题

发表于 2018-2-24 11:07 | 显示全部楼层
你好,我看了你这个帖子,真心学得是适合不懂网抓的人来实战的帖子,我看完后也进行了一些尝试,但是不懂理论容易遇到坑,我是做亚马逊的,现在想要监控自己产品的排名,想看看一些广告词搜索结果中自己产品的排名,但是发现fillder抓不到亚马逊网站的包,很奇怪不知道为什么
https://www.amazon.de/

TA的精华主题

TA的得分主题

发表于 2018-2-25 21:49 | 显示全部楼层
網抓要學的知識真多啊,什至感覺比學全程書中的vba還多
是mark一下好了,很少會用網抓,沒有動力學,還是以為有機會用才來了

TA的精华主题

TA的得分主题

发表于 2018-3-17 22:25 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
好的东西必须收藏标记!

TA的精华主题

TA的得分主题

发表于 2018-3-18 21:50 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2018-3-23 17:31 | 显示全部楼层
大师,我想请教一下异步取数不是性能更好?我看你基本都是同步取数

TA的精华主题

TA的得分主题

发表于 2018-4-8 15:33 | 显示全部楼层
坛子里,高手云集,且还这么愿意分享知识,真是我等幸事。

TA的精华主题

TA的得分主题

发表于 2018-4-13 10:25 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2018-4-20 16:08 | 显示全部楼层
以下是我看了教程,爬的12306上海到北京的时刻表,供参考

Sub login12306()
  Dim ss
    With CreateObject("winhttp.winhttprequest.5.1")
        .Open "GET", "https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2018-04-21&leftTicketDTO.from_station=SHH&leftTicketDTO.to_station=BJP&purpose_codes=ADULT", False
        .setrequestheader "Referer", "https://kyfw.12306.cn/otn/leftTicket/init"
        .setrequestheader "Cookie", "JSESSIONID=A5F10A1E313985CE650C5612569D9637; route=c5c62a339e7744272a54643b3be5bf64; BIGipServerotn=1691943178.24610.0000; current_captcha_type=C; _jc_save_fromStation=%u4E0A%u6D77%2CSHH; _jc_save_toStation=%u5317%u4EAC%2CBJP; _jc_save_fromDate=2018-04-21; _jc_save_toDate=2018-04-20; _jc_save_wfdc_flag=dc"
                                    
        .send
         ss = .responseText
        MsgBox ss

        Sheet3.Cells(1, 1) = ss
    End With
End Sub

Sub reg12306()

       Dim str, matc
       Dim j, i
       Dim regx As Object
          j = 1
         
           Set regx = CreateObject("vbscript.regexp")
               str = Sheet3.Cells(1, 1)
           Dim s
            With regx
              .Global = True
              '.Pattern = "\""" & "1,\S+"
              .Pattern = "预\S\|([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)"
              'MsgBox "\{""pro\S+ \S+ \S+\""}"
               Set matc = .Execute(str)
                 For Each s In matc
                  For i = 0 To s.SubMatches.Count - 1
                   Sheet3.Cells(j, i + 2) = s.SubMatches.Item(i)
                  Next i
                 j = j + 1
                 Next
            End With
End Sub

TA的精华主题

TA的得分主题

发表于 2018-4-20 16:16 | 显示全部楼层

看了教程,自己爬了12306上海到北京的时刻表,确实好用,大家共享

Sub login12306()
  Dim ss
    With CreateObject("winhttp.winhttprequest.5.1")
        .Open "GET", "https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2018-04-21&leftTicketDTO.from_station=SHH&leftTicketDTO.to_station=BJP&purpose_codes=ADULT", False
        .setrequestheader "Referer", "https://kyfw.12306.cn/otn/leftTicket/init"
        .setrequestheader "Cookie", "JSESSIONID=A5F10A1E313985CE650C5612569D9637; route=c5c62a339e7744272a54643b3be5bf64; BIGipServerotn=1691943178.24610.0000; current_captcha_type=C; _jc_save_fromStation=%u4E0A%u6D77%2CSHH; _jc_save_toStation=%u5317%u4EAC%2CBJP; _jc_save_fromDate=2018-04-21; _jc_save_toDate=2018-04-20; _jc_save_wfdc_flag=dc"
                                    
        .send
         ss = .responseText
        MsgBox ss

        Sheet3.Cells(1, 1) = ss
    End With
End Sub

Sub reg12306()

       Dim str, matc
       Dim j, i
       Dim regx As Object
          j = 1
         
           Set regx = CreateObject("vbscript.regexp")
               str = Sheet3.Cells(1, 1)
           Dim s
            With regx
              .Global = True
              '.Pattern = "\""" & "1,\S+"
              .Pattern = "预\S\|([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)\S([^|]*)"
              'MsgBox "\{""pro\S+ \S+ \S+\""}"
               Set matc = .Execute(str)
                 For Each s In matc
                  For i = 0 To s.SubMatches.Count - 1
                   Sheet3.Cells(j, i + 2) = s.SubMatches.Item(i)
                  Next i
                 j = j + 1
                 Next
            End With
End Sub
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

关闭

最新热点上一条 /1 下一条

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-4-20 07:49 , Processed in 0.043425 second(s), 5 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表