ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 3675|回复: 3

[求助] 关于VBA网抓的问题

[复制链接]

TA的精华主题

TA的得分主题

发表于 2019-6-9 18:03 | 显示全部楼层 |阅读模式
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
本帖最后由 尖椒土豆絲 于 2019-6-9 18:50 编辑

关于VBA网抓的问题
有没有大神有过这种操作的,麻烦给个例子。
本人功力有限,虽然临时突击但也是心有余而力不足。
谢谢啦! 2019-06-06_151345.jpg
2019-06-09_182859.jpg 2019-06-09_182932.jpg
学习了二位老师的帖子自己鼓捣了几天,数据能抓出来了,前提是得用Fiddler找一个可以用的cookie.
有效的cookie一直没能通过代码获取。
我这个网址是需要用户名密码加验证码的,但是我只需要手动登录到网页,然后通过代码获取可用的cookie最后抓取数据即可。
请大神帮忙看看,给点指点。谢谢!

2019-06-09_180524.jpg 2019-06-09_181646.jpg

Sub Main1() '终端明细
    Dim strText As String, strCookie As String, Pages As String
    With CreateObject("WinHttp.WinHttpRequest.5.1")
        .Option(6) = False ' 禁止重定向,以获取原网页信息
        .Open "POST", "https://shandianbao.chinapnr.com/supm/doLogin", False
        .SetRequestHeader "Host", "shandianbao.chinapnr.com"
        .SetRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"
        .SetRequestHeader "Referer", "https://shandianbao.chinapnr.com/supm/login"
        .Send
        strText = .getAllResponseHeaders '获取所有的回应头信息
        strCookie = Split(Split(strText, "Set-Cookie: ")(1), ";")(0) '取出Cookie值
        Debug.Print strText: Stop '在立即窗口里查看头信息
        strText = .responseText
        Debug.Print strText
    End With
    With CreateObject("WinHttp.WinHttpRequest.5.1")
        .Open "POST", "https://shandianbao.chinapnr.com/supm/TER101/control", False
        .SetRequestHeader "Content-Type", "application/x-www-form-urlencoded;charset=utf-8"
        .SetRequestHeader "Referer", "https://shandianbao.chinapnr.com/supm/TER101/index "
        .SetRequestHeader "Cookie", strCookie
        .Send "yearBatchno=ALL&pageIndex=5"
        strText = .responseText
    End With
    Pages = Split(Split(Split(strText, "下一页")(1), "末页")(0), "'")(3)
    Open ThisWorkbook.Path & "\终端明细" & Format(Now, "YYYYMMDD") & ".txt" For Output As #1 '将工作表中的数据写入NewFileName文本文件中
    Print #1, "写入时间: " & Format(Now, "YYYY年M月D日-H点M分S秒")
    Print #1, "====================================================================="
    Print #1, strText
    Close #1
End Sub


TA的精华主题

TA的得分主题

发表于 2019-6-9 18:07 来自手机 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
贴个图片出来,这是几个意思?

TA的精华主题

TA的得分主题

 楼主| 发表于 2019-6-9 18:39 | 显示全部楼层
duquancai 发表于 2019-6-9 18:07
贴个图片出来,这是几个意思?

呵呵,不只是图片,没整完

TA的精华主题

TA的得分主题

发表于 2023-3-24 14:29 | 显示全部楼层
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-9-29 16:28 , Processed in 0.029795 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表