pq如何网抓多页数据？

qmf

刚接触PQ的网抓，遇到这样一个网页，目前只能对单页抓包，无法遍历多页。请大佬们请点，在此感谢了！
http://data.eastmoney.com/xg/xg/default.html

deadzlq

PowerQuery参考解法

qmf

deadzlq 发表于 2020-12-28 12:05
PowerQuery参考解法

感谢大神帮助，还有两点需请教：
1、我想把Url的……p=#{0}……，直接改成：……p=_……，这样可以直接省略：Text.Format(Url,{_})，这样可以吗？
2、Web.Contents的第二可选参数，本例好像可以省之。请问哪些地方必须有，哪些地方无必要？
再次感谢！！！

deadzlq

qmf 发表于 2020-12-28 14:14
感谢大神帮助，还有两点需请教：
1、我想把Url的……p=#{0}……，直接改成：……p=_……，这样可以直接 ...

试试就知道

ThxAlot

qmf 发表于 2020-12-28 14:14
感谢大神帮助，还有两点需请教：
1、我想把Url的……p=#{0}……，直接改成：……p=_……，这样可以直接 ...

原来没有老老实实写过PQ的网抓的操作步，这次就和你一起复习一下。我把参数逐个试了个遍，最后精简成这样：

1. let
   
2.     Scrape = (pg as number) =>
   
3.     let
   
4.         url = "http://dcfm.eastmoney.com/em_mutisvcexpandinterface/api/js/get",
   
5.         qry = [type="XGSG_LB", token="70f12f2f4f091e459a279469fe49eca5", st="purchasedate,securitycode", sr="-1", p=Text.From(pg), ps="50"],
   
6.         web = Table.FromRecords(Json.Document(Text.FromBinary(Web.Contents(url, [Query=qry]))))
   
7.     in
   
8.         web,
   
9.    
   
10.     Source = Table.Combine(List.Transform({1..50}, each Scrape(_)))
    
11. in
    
12.     Source

复制代码

先说第2点，从浏览器的抓包来看，每个页面都是GET请求，所以这两种写法等效：

1. Web.Contents("http://xxx.xx.xxx/get?kw1=aa&kw2=bb&kw3=cc")
   
2. Web.Contexts("http://xxxx.xx.xxx/get", [Query=[kw1="aa", kw2="bb", kw3="cc"]]

复制代码

我耐着性子把Query和Headers里的参数试了个遍，貌似st是用来排序的，sr不详但还是得要，p是当前页数，ps是每页显示数量；其他的参数都省略了，好像没什么影响。


你提到的第1点行不通，因为那样没办法把“第x页”作为参数传递进去；这里要对@deadzlq老师表达一下敬佩之情，原来从没留意过Text.Format(Url,{_})的语法，今天总算看到实际的用法了！

qmf

deadzlq 发表于 2020-12-28 18:24
试试就知道

非常感谢！

qmf

ThxAlot 发表于 2020-12-29 06:25
原来没有老老实实写过PQ的网抓的操作步，这次就和你一起复习一下。我把参数逐个试了个遍，最后精简成这样 ...

非常感谢大神耐心细致地讲解，把每一步都分解出来了，让初学者非常有益。但是，有2点需再讲教：
1、老师的附件，刷新后有点小Bag（详见图片），不知是哪里出错了？
2、我在3楼提问中的第1点试过，好像可以呢（详见附件）？
PS，现在没有小花了，下午再及时送上，见谅！

ThxAlot

qmf 发表于 2020-12-29 08:53
非常感谢大神耐心细致地讲解，把每一步都分解出来了，让初学者非常有益。但是，有2点需再讲教：
1、老师 ...

过誉了，我不是大神，只是一个普通的学习者，可能只是稍微早一点开始学习相关知识。

1. 我用PQ for EXCEL和POWER BI都试了一下，都重现不了这个错误；google了一下，也没能找到关于这个报错的有用信息。会不会和电脑内存容量或操作系统的缓存页面大小有关？你把页面数量减少至{1..30}试一下看看？

2. 我看了你的附件，如果不用Text.Format()，那么“第X页”的参数就没法传入到每个query里，所以抓的始终是第一页（最后结果的每50行都是重复的）。

qmf

ThxAlot 发表于 2020-12-29 09:20
过誉了，我不是大神，只是一个普通的学习者，可能只是稍微早一点开始学习相关知识。

1. 我用PQ for EX ...

再次感谢，老师说的两点都对！
1、改成10页就没问题了；2、不可省Text.Fromat()，否则无法遍历。