ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 1201|回复: 7

[求助] 求大神们看下如何power query获取网页上的表格数据有翻页且url不变

[复制链接]

TA的精华主题

TA的得分主题

发表于 2024-7-1 11:05 | 显示全部楼层 |阅读模式



需要抓取这个网页的表格数据https://quote.eastmoney.com/center/gridlist.html#hs_a_board,但是有一个问题就是这个网页的表格数据是翻页的,并且url不改变。powery query获取到的数据只有第一页的20个数据,后面的就获取不到了。请问下各位大神如何搞定这个翻页且url不变的情况下的powerquery网页取数呢?
求解决思路,感谢感谢感谢
QQ截图20240701105911.png
QQ截图20240701105958.png

TA的精华主题

TA的得分主题

发表于 2024-7-1 15:53 | 显示全部楼层
PQ不知道,但是有专门的采集软件,像八爪鱼,影刀RPA

TA的精华主题

TA的得分主题

发表于 2024-7-1 17:46 | 显示全部楼层
https://37.push2.eastmoney.com/a ... p;dect=1&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1719827061213
这个是第二页的  

TA的精华主题

TA的得分主题

发表于 2024-7-2 12:42 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2024-7-2 12:46 | 显示全部楼层
(p as text) as table=>
let
    源 = Table.FromRecords(Json.Document(Web.Contents("https://47.push2.eastmoney.com/api/qt/clist/get?pn=" & p & "&pz=20&po=1&np=1&fltt=2&invt=2&dect=1&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048"))[data][diff])
in
    源

TA的精华主题

TA的得分主题

 楼主| 发表于 2024-7-3 14:00 | 显示全部楼层
everbest2015 发表于 2024-7-2 12:46
(p as text) as table=>
let
    源 = Table.FromRecords(Json.Document(Web.Contents("https://47.push2 ...

请教下这个智能获取第2页吗  一共有281页 ,刚刚在powerbi上获取网页数据的步骤试了了一下,还是智能得到1页数据

TA的精华主题

TA的得分主题

发表于 2024-7-3 18:57 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
regweb 发表于 2024-7-3 14:00
请教下这个智能获取第2页吗  一共有281页 ,刚刚在powerbi上获取网页数据的步骤试了了一下,还是智能得到 ...

参数 p 不就是页码吗? Table.Combine( List.Transform({1..281},each 自定义函数名称(Text.From(_))))

TA的精华主题

TA的得分主题

 楼主| 发表于 2024-7-7 11:43 | 显示全部楼层
everbest2015 发表于 2024-7-3 18:57
参数 p 不就是页码吗? Table.Combine( List.Transform({1..281},each 自定义函数名称(Text.From(_))))

好的,谢谢,我再试一下
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-21 18:43 , Processed in 0.038234 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表