如何汇入web多頁的資料

chou680702

各位大大好,

想使用power bi汇入web多頁资料，但web资料是使用post语法，只能汇入第一頁

是否有什麼做法可以破解，將所有资料抓下來？

chou680702

网址范例：https://goodinfo.tw/tw/ShowBuySaleChart.asp?STOCK_ID=2330&CHT_CAT=DATE

在运用页面筛选条件时，例如3个月、1年等，网址不会变动，但抓下来的资料只有固定的笔数，无法一次全部抓下来
不知是否有其他好的做法

z135790

chou680702 发表于 2021-12-28 09:47
网址范例：https://goodinfo.tw/tw/ShowBuySaleChart.asp?STOCK_ID=2330&CHT_CAT=DATE

在运用页面筛选条 ...

这个才是真实的网址，后面的180天就是6个月，365就是1年。
https://goodinfo.tw/tw/ShowBuySaleChart.asp?STOCK_ID=2330&CHT_CAT=DATE&SHEET=三大法人買賣張數&STEP=DATA&PERIOD=180

chou680702

z135790 发表于 2021-12-30 09:22
这个才是真实的网址，后面的180天就是6个月，365就是1年。
https://goodinfo.tw/tw/ShowBuySaleChart.as ...

不知如何找到背后真实的网址？
另，依真实的网址汇入Power bi后，无任何资讯，如附件结果。

z135790

chou680702 发表于 2021-12-30 10:57
不知如何找到背后真实的网址？
另，依真实的网址汇入Power bi后，无任何资讯，如附件结果。

1. let
   
2.     Headers= [cookie=" CLIENT%5FID=20211230091421734%5F117%2E136%2E31%2E40; IS_TOUCH_DEVICE=F; SCREEN_SIZE=WIDTH=1366&HEIGHT=768; _ga=GA1.2.738334560.1640826937; _gid=GA1.2.2025324414.1640826937; TW_STOCK_BROWSE_LIST=2330",referer=" https://goodinfo.tw/tw/ShowBuySaleChart.asp?STOCK_ID=2330&CHT_CAT=DATE"],
   
3.     源 = Web.Page(Web.Contents("https://goodinfo.tw/tw/ShowBuySaleChart.asp?STOCK_ID=2330&CHT_CAT=DATE&SHEET=%E4%B8%89%E5%A4%A7%E6%B3%95%E4%BA%BA%E8%B2%B7%E8%B3%A3%E5%BC%B5%E6%95%B8&STEP=DATA&PERIOD=365",[Headers=Headers]))
   
4. in
   
5.     源

复制代码

chou680702

z135790 发表于 2021-12-30 12:14

汇入Power bi 还是无任何资料，直接贴上网址查询也无结果：

https://goodinfo.tw/tw/ShowBuySa ... DATA&PERIOD=365

bjzzxhzl

输入以下代码吧，一定可以的，需要改时间只需将数字365改为180或90

1. let
   
2.     url="https://goodinfo.tw/tw/ShowBuySaleChart.asp",
   
3.     headers=[#"Content-Type"="application/x-www-form-urlencoded;",Referer="https://goodinfo.tw/tw/ShowBuySaleChart.asp?STOCK_ID=2330&CHT_CAT=DATE"],
   
4.     content="STOCK_ID=2330&CHT_CAT=DATE&SHEET=三大法人買賣張數&STEP=DATA&PERIOD=365",
   
5.     web=Web.Page(Text.FromBinary(Web.Contents(url,[Headers=headers,Content=Text.ToBinary(content)]))),
   
6.     Data = web{0}[Data],
   
7.     筛选的行 = Table.SelectRows(Data, each not Text.Contains([期別], "期別"))
   
8. in
   
9.     筛选的行

复制代码

chou680702

可以了，只要直接开启「空白查询」，在power qurey进阶编辑器中，贴入上述代码就可以了。

因为有其他网页的查询需求，是否可以私讯告知如何找到代码内之关键参数，如网址...，感激不尽

excel_rzlt

有一篇文章供参考

https://blog.csdn.net/weixin_39745269/article/details/110932224

chou680702

您好,
感谢您提供的语法,贴上后是可行的。
但套用在其他网页，不知道为何还是不行，
例如：
https://www.finmart.com.tw/join/Online

因为发电中的案场要点选view more才会带出其他的，也是使用post语法，不知我这样套用有什么错误的地方？

let
    url="https://www.finmart.com.tw/join/ProjectList",
    headers=[#"Content-Type"="application/x-www-form-urlencoded; charset=UTF-8",Referer="https://www.finmart.com.tw/join/Online"],
    content="status=2&page=2&orderType=03",
    web=Web.Page(Text.FromBinary(Web.Contents(url,[Headers=headers,Content=Text.ToBinary(content)]))),
    Data = web{0}[Data]
in
    web