ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 2202|回复: 46

[求助] 网站多页数据抓取

[复制链接]

TA的精华主题

TA的得分主题

发表于 2023-8-1 22:33 | 显示全部楼层 |阅读模式
这是一个网站 单页复制数据很慢 共计几十页 请教大神给段采集数据的代码  谢谢

这是网站地址http://query.bjeea.cn/queryService/rest/plan/115

TA的精华主题

TA的得分主题

发表于 2023-8-2 08:25 | 显示全部楼层
试试这个看看:
Sub xxx()
  Dim http
  Set http = CreateObject("Microsoft.XMLHTTP")
  http.Open "POST", "http://query.bjeea.cn/queryService/rest/plan/115", False
  http.send "pageFlag=true&token=1690931234529&pageSize=5000&pageNo=1"
  If http.Status = 200 Then
    [a1] = http.responseText
    MsgBox "第一页结果已经保存在[A1]单元格", vbInformation
  Else
    MsgBox "调用失败,错误代码:" & http.Status
    Exit Sub
  End If
End Sub

TA的精华主题

TA的得分主题

发表于 2023-8-2 08:26 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
本帖最后由 Yalishanda30 于 2023-8-2 09:41 编辑

额。没搞定。。。。

TA的精华主题

TA的得分主题

发表于 2023-8-2 09:57 | 显示全部楼层
很简单的,简单说下原理及实现:

1.通过网抓获取token值
2.post获取页面数据
3.正则匹配要的数据放入数组
4.数组放置指定单元格即可
动画.gif
图片1.png

TA的精华主题

TA的得分主题

发表于 2023-8-2 10:57 | 显示全部楼层
xx20142014 发表于 2023-8-2 09:57
很简单的,简单说下原理及实现:

1.通过网抓获取token值

请问大佬为什么页码总是1?获取token也没用

TA的精华主题

TA的得分主题

发表于 2023-8-2 11:34 | 显示全部楼层
Yalishanda30 发表于 2023-8-2 10:57
请问大佬为什么页码总是1?获取token也没用

postData = "pageFlag=true&token=1690908247946&pageSize=50&pageNo=1"
最后pageNo=对应的就是页码

评分

1

查看全部评分

TA的精华主题

TA的得分主题

发表于 2023-8-2 14:07 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
xx20142014 发表于 2023-8-2 11:34
postData = "pageFlag=true&token=1690908247946&pageSize=50&pageNo=1"
最后pageNo=对应的就是页码

请问大佬用的哪个http组件?我这里页码改变了还是获取第一页的。。。。

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-8-2 14:54 | 显示全部楼层
xx20142014 发表于 2023-8-2 09:57
很简单的,简单说下原理及实现:

1.通过网抓获取token值

谢谢 辛苦了!看了您的帮助很是受用,再次感谢!

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-8-2 14:56 | 显示全部楼层
hcunicom 发表于 2023-8-2 08:25
试试这个看看:
Sub xxx()
  Dim http

谢谢!看了您的帮助我感到获益匪浅,再次感谢

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-8-2 15:13 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
xx20142014 发表于 2023-8-2 09:57
很简单的,简单说下原理及实现:

1.通过网抓获取token值

大师,能给个附件吗?谢谢,我还是整不了 谢谢
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-6-29 16:45 , Processed in 0.048001 second(s), 16 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表