用 Power Query 提取网页数据

静听溪流

一江春水1688 发表于 2023-11-12 22:49
附件如下：

点赞   学到了

一江春水1688

静听溪流 发表于 2023-11-12 23:44
点赞   学到了

重新做了一个按页码提取的代码：

shenzhenyang

一江春水1688 发表于 2023-11-13 00:16
重新做了一个按页码提取的代码：

这个代码发出来，我应该在PQ那个菜单加入这个代码，就可以获取数据，谢谢

shenzhenyang

一江春水1688 发表于 2023-11-13 00:16
重新做了一个按页码提取的代码：

1. let
   
2.    func = (page as any) =>
   
3.            let
   
4.                url="https://fx.cmbchina.com/api/y1/fx/history-rate/page",
   
5.                headers=[#"Content-Type"="application/json;charset=UTF-8"],
   
6.                query=[],
   
7.                content="{""nbr"":""港币"",
   
8.                ""startDate"":""2009-01-01"",
   
9.                ""endDate"":""2050-11-12"",
   
10.                ""pageSize"":""38"",
    
11.                ""pageNum"":"& Text.From(page) & "}",
    
12.                web=Text.FromBinary(web.Contents(url, [Headers=headers,Query=query,Content=Text.Tobinary (content)])),                  
    
13.                data = Table.FromRecords(Json.Document(web)[body][list]),
    
14.                删除的列 = Table.RemoveColumns(data,{"ccyNbrEng","upTime"}),
    
15.                重排序的列 = Table.ReorderColumns(删除的列,{"ratDat","rthBid","rtcBid","rtbBid","rthOfr","rtcofr"}),
    
16.                删除的列1 = Table.RemoveColumns(重排序的列,{"rtbBid"}),
    
17.                重命名的列 = Table.RenameColumns(删除的列1,{{"ratDat","日期"},{"rthBid","汇买价"},
    
18.                {"rtcBid","钞买价"},{"rthofr","汇卖价"},{"rtcofr","钞卖价"}})
    
19.            in
    
20.              重命名的列 ,   
    
21.     result = Table.Combine(List.Transform({1..10}, each func(_)))//提取1至10页
    
22. in
    
23.     result

复制代码

帮我看这错误是哪里，谢谢

quqiyuan

对你的数据进行了修改，现在是可以的，供参考吧

quqiyuan

我觉得主要问题是10楼怎么能找到这个地址？
https://fx.cmbchina.com/api/v1/fx/history-rate/page

一江春水1688

shenzhenyang 发表于 2023-11-13 10:14
帮我看这错误是哪里，谢谢

1. let
   
2.     func = (page as any) =>
   
3.         let
   
4.             iPage = if page = -1 then 1 else page,
   
5.             url="https://fx.cmbchina.com/api/v1/fx/history-rate/page",
   
6.             headers=[#"Content-Type"="application/json;charset=UTF-8"],
   
7.             //结束日期endDate，可以赋值为未来某一天，使得查询到的都是最新数据；每页行数pageNum，可以是38或100等数据
   
8.             content="{""nbr"":""港币"",
   
9.                 ""startDate"":""2009-01-01"",
   
10.                 ""endDate"":""2055-11-12"",
    
11.                 ""pageSize"":""38"",
    
12.                 ""pageNum"":" & Text.From(iPage) & "}",
    
13.             web=Text.FromBinary(Web.Contents(url,[Headers=headers,Content=Text.ToBinary(content)])),
    
14.             总页数 = Json.Document(web)[body][pages],
    
15.             data = Table.FromRecords(Json.Document(web)[body][list],{"ratDat", "rthBid", "rtcBid", "rthOfr", "rtcOfr"}),
    
16.             重命名的列 = Table.RenameColumns(data,{{"ratDat", "日期"}, {"rthBid", "汇买价"}, {"rtcBid", "钞买价"}, {"rthOfr", "汇卖价"}, {"rtcOfr", "钞卖价"}})
    
17.         in
    
18.             if page = -1 then 总页数 else 重命名的列,
    
19.     总页数 = func(-1),
    
20.     result = Table.Combine(List.Transform({1..10}, each func(_)))  //提取1至10页
    
21. in
    
22.     result

复制代码

一江春水1688

shenzhenyang 发表于 2023-11-13 10:14
帮我看这错误是哪里，谢谢

我提供的代码，只能查询到2014-7-10，网站上对应的是第90页，查询更早的数据会出错。
追踪了返回的代码，发现早期的数据，网站返回的数据中，没有rtcOfr即钞卖价数据（注意，是没有而不是空）。所以，代码处理数据时，因找不到rtcOfr字段而出错。
另外，对比了网站所有数据，除了2014-7-10这天，所有的钞卖价都等于汇卖价。因此，感觉8楼一次性返回所有数据的代码更有用。

一江春水1688

一江春水1688 发表于 2023-11-13 16:38
我提供的代码，只能查询到2014-7-10，网站上对应的是第90页，查询更早的数据会出错。
追踪了返回的代码 ...

巧改网站查询参数，一次取一万条，可以不分页，代码稍后提供

一江春水1688

一江春水1688 发表于 2023-11-13 17:21
巧改网站查询参数，一次取一万条，可以不分页，代码稍后提供

代码如下：

1. let
   
2.     url="https://fx.cmbchina.com/api/v1/fx/history-rate/page",
   
3.     page = 1,
   
4.     headers=[#"Content-Type"="application/json;charset=UTF-8"],
   
5.     //2014-07-10至2050-11-12，一次性取1万条数据，这样就不用分页了，实际返回没有这么多；更早的数据会出错。
   
6.     content="{""nbr"":""港币"",
   
7.     ""startDate"":""2014-07-10"",
   
8.     ""endDate"":""2050-11-12"",
   
9.     ""pageSize"":""10000"",
   
10.     ""pageNum"":" & Text.From(page) & "}",
    
11.     web=Text.FromBinary(Web.Contents(url,[Headers=headers,Content=Text.ToBinary(content)])),
    
12.     data = Table.FromRecords(Json.Document(web)[body][list],{"ratDat", "rthBid", "rtcBid", "rthOfr", "rtcOfr"}),
    
13.     重命名的列 = Table.RenameColumns(data,{{"ratDat", "日期"}, {"rthBid", "汇买价"}, {"rtcBid", "钞买价"}, {"rthOfr", "汇卖价"}, {"rtcOfr", "钞卖价"}})
    
14. in
    
15.     重命名的列

复制代码