ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 1690|回复: 31

求助:如何解决要先登录网页再爬取数据

[复制链接]

TA的精华主题

TA的得分主题

发表于 2023-12-22 09:54 | 显示全部楼层 |阅读模式
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册



想从中国货币网下载一组数据,数据下载地址:
https://www.chinamoney.com.cn/ags/ms/cm-u-bk-currency/FrrHis?lang=CN&startDate=20231201&endDate=20231220
但是每次电脑开机后都无法直接下载数据,需要通过浏览器登录网页https://www.chinamoney.com.cn后,才能正常下载数据
已尝试获取Cookie并通过setRequestHeader "Cookie"的方式赋值,但是还是不成功。另外,因为电脑设置,不想通过IE或者控件的方式解决,请教如何解决,真心求教!


Set OBJ = CreateObject("Msxml2.XMLHTTP")
With OBJ
.Open "GET", "https://www.chinamoney.com.cn/ags/ms/cm-u-bk-currency/FrrHis?lang=CN&startDate=20231201&endDate=20231220" , False              
.send
Do Until (.ReadyState = 4 And .Status = 200)
DoEvents
Loop
tem = Split(.responsetext, "{")
tem_n = UBound(tem)
End With
           

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-12-22 14:37 | 显示全部楼层
求教如何解决

TA的精华主题

TA的得分主题

发表于 2023-12-22 15:51 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册

需要 cookie
c0057190e5c0b50e6cea50ef4ae6007.png

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-12-22 16:02 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册

用了winhttp.winhttprequest.5.1,以及.getResponseHeader("Set-Cookie"),把取到的cookie放进上述程序,还是下载不了

我看网页里,涉及到3个cookie,但不知道哪个是必须的

TA的精华主题

TA的得分主题

发表于 2023-12-22 19:48 来自手机 | 显示全部楼层
qq:2776478814,你可以把网址,号发我试试看。

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-12-22 20:53 | 显示全部楼层
逍遥爱迪生 发表于 2023-12-22 19:48
qq:2776478814,你可以把网址,号发我试试看。

这个需要什么号?不需要账号密码登录的,只是需要进入下网页就可以下载

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-12-25 10:59 | 显示全部楼层

麻烦问下,你这里的Cookie是怎么获得的?

TA的精华主题

TA的得分主题

发表于 2023-12-25 11:53 | 显示全部楼层
刀厂八言 发表于 2023-12-25 10:59
麻烦问下,你这里的Cookie是怎么获得的?

就是三个中的一个,仔细模拟请求就可以获取

TA的精华主题

TA的得分主题

 楼主| 发表于 2024-1-13 07:46 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
perfect131 发表于 2023-12-25 11:53
就是三个中的一个,仔细模拟请求就可以获取


AlteonP10=CFgpJCw/F6xpOOIH1CQzeg$$; apache=4a63b086221745dd13be58c2f7de0338; ags=2a1ba4d47b619c011c19c1cc4b3c0c32



以上三个COOKIE都试了,还是不行

TA的精华主题

TA的得分主题

 楼主| 发表于 2024-1-13 08:36 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助

而且我看你这里用的是POST方法,但是网页里是GET,为什么?
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-17 16:52 , Processed in 0.037468 second(s), 12 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表