ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
楼主: wcymiss

[原创] 不懂html也来学网抓(xmlhttp/winhttp+fiddler)

    [复制链接]

TA的精华主题

TA的得分主题

发表于 2020-7-19 20:46 | 显示全部楼层
本帖已被收录到知识树中,索引项:网页交互
吴姐,最近我在学习您的网抓教程,受益匪浅
不过这几天遇到一个问题,向您请教:就是在模拟cookie登录网课时,被提示“系统不支持IE8以下浏览器访问”,请问这个如何处理?C:\Users\Administrator\Desktop\批注 2020-07-19 204130.gif
批注 2020-07-19 204130.gif

TA的精华主题

TA的得分主题

发表于 2020-8-2 10:05 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
太强大了,好好学习   

TA的精华主题

TA的得分主题

发表于 2020-8-3 16:42 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
收藏收藏,很厉害

TA的精华主题

TA的得分主题

发表于 2020-9-5 22:46 | 显示全部楼层
最近在论坛找到此贴,很感兴趣,想从第1页开始学习。但里面网友提到的好多页网,都是2014年时候的,现在都打不开链接了,失效了,所以没有对应的网页打开对照学习,感觉一头雾水。请问大家,还有什么好方法学习吗?在此谢过。

TA的精华主题

TA的得分主题

发表于 2020-9-5 22:52 | 显示全部楼层
sgzxglc 发表于 2020-3-22 21:28
冬雨你好,我用fidder4抓取江苏七星彩,跳不出来这个网址,能帮忙解释下吗,谢谢。http://www.pinble.com ...

好多网友的贴是2014年的,相关网页链接现在可能失效而打不开了。

TA的精华主题

TA的得分主题

发表于 2020-9-7 11:03 | 显示全部楼层
请教:post 的send参数是这样格式的:
  {"Params":["yzlhb","2020-09-04","","","",0,20]}
应该怎样写?

TA的精华主题

TA的得分主题

发表于 2020-9-7 15:20 | 显示全部楼层
本帖最后由 xyb_111 于 2020-9-7 15:27 编辑

wcymiss大师您好,有个网站登录后,查询一定条件数据,POST请求里是json格式,请问如何send出去?如下:{"dataSource":"ENIQ","dataType":"TDD","template":4867,"timeDim":"hour","locationDim":"cell","cities":["苏州"],"subnets":["suzhou:Suzhou","suzhou:SZ_Changshu_G1tdd1","suzhou:SZ_Changshu_G1tdd2","suzhou:SZ_Changshu_G1tdd3","suzhou:SZ_Suzhou_G2tdd1","suzhou:SZ_Suzhou_G2tdd2","suzhou:SZ_Suzhou_G2tdd3","suzhou:SZ_Taicang_G1tdd1","suzhou:SZ_Taicang_G1tdd2","suzhou:SZ_Zhangjg_G1tdd1","suzhou:SZ_Zhangjg_G1tdd2","suzhou:SZ_Zhangjg_G1tdd3","suzhou:SZ_Suzhou_G2fdd1","suzhou:SZ_NSA_3D1","suzhou1:Suzhou","suzhou1:SZ2_Changshu_G1tdd3","suzhou1:SZ2_Zhangjg_G1tdd3","suzhou1:SZ2_Changshu_G1tdd2","suzhou1:SZ2_Changshu_G1tdd1","suzhou1:SZ2_Zhangjg_G1tdd1","suzhou1:SZ2_Zhangjg_G1tdd2","suzhou1:SZ2_Zhangjg_G2tdd1","suzhou1:SZ2_Changshu_G2tdd1","suzhou1:SZ2_Taicang_G2tdd1","suzhou1:SZ2_Taicang_G1tdd1","suzhou1:SZ2_Suzhou_G1tdd1","suzhou1:SZ2_Suzhou_G2tdd1","suzhou1:SZ2_Changshu_G2tdd2","suzhou1:SZ2_Taicang_G2tdd2","suzhou3:SUZHOU","suzhou3:SZ_NSA_4G1","suzhou3:SZ_NSA_NR1","suzhou3:SZ_AI_NR1","suzhou3:SZ_SA_NR1"],"baseStation":"","cell":"CRD5202C_A","date":["2020-09-02","2020-09-02"],"hour":["3"],"minute":[],"crontab":[],"notice":[],"alarmTime":"","version":[]}

请求raw

请求raw

TA的精华主题

TA的得分主题

发表于 2020-9-17 16:24 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
本帖最后由 chinazrm 于 2020-9-18 09:15 编辑

请教老师,这个网站的数据怎么抓:
http://data.10jqka.com.cn/financial/yjkb/

    Dim url As String, St As String
    Dim arr, brr, ar, i, c
    url = "http://data.10jqka.com.cn/ajax/yjkb/agentSource/static1600386007/date/2020-06-30/board/ALL/field/declaredate/order/desc/ajax/1/free/1/"
    'With CreateObject("MSXML2.XMLHTTP")
    With CreateObject("winhttp.winhttprequest.5.1")
        .Open "GET", url, False
        .setRequestHeader "Referer", "http://data.10jqka.com.cn/financial/yjkb/"
        .setRequestHeader "Host", "data.10jqka.com.cn"
        .setRequestHeader "Connection", "Keep-Alive"
        .setRequestHeader "Cookie", "v=AvmH_3kBgou2dl4ff_XiNtM_CGDTBu241_oRTBsudSCfohuXY1b9iGdKIR6o; __utmz=156575163.1600305870.1.1.utmcsr=10jqka.com.cn|utmccn=(referral)|utmcmd=referral|utmcct=/; Hm_lvt_78c58f01938e4d85eaf619eae71b4ed1=1600306109,1600323743,1600330997,1600386090; __utma=156575163.1850385606.1600305870.1600305870.1600305870.1; searchGuide=sg; Hm_lpvt_78c58f01938e4d85eaf619eae71b4ed1=1600386090; Hm_lvt_60bad21af9c824a4a0530d5dbf4357ca=1600306109,1600323743,1600330997,1600386090; Hm_lvt_f79b64788a4e377c608617fba4c736e2=1600306109,1600323743,1600330997,1600386090; Hm_lpvt_f79b64788a4e377c608617fba4c736e2=1600386090; Hm_lpvt_60bad21af9c824a4a0530d5dbf4357ca=1600386090"
        .setRequestHeader "Content-Type", "text/html; charset=UTF-8"
        .send
        St = .responseText
    End With
    Debug.Print St
End Sub

上面代码抓到的数据少
刚开始学抓网页数据,请老师指教

TA的精华主题

TA的得分主题

发表于 2020-10-6 05:15 来自手机 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2020-10-20 17:27 | 显示全部楼层
wcymiss 发表于 2014-11-16 22:05
经过多次测试,发现也不是漏了两个参数的问题,是登录网站进行查询时,需要设置下发送头里的cookie。

...

用WINHTTP,与IE控件好象无法共享同一连接,用WININET.DLL可以取到完整COOKIE.
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-22 09:52 , Processed in 0.044253 second(s), 6 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表