关于PQ网抓

everbest2015

各位大神下午好：有个网站   http://data.10jqka.com.cn/market ... l/order/desc/page/1   抓了一下是AJAX 异步请求的，想在PQ里面抓取这个数据，看了下 接口地址是    http://data.10jqka.com.cn/market/ggsyl/field/syl/order/desc/page/3/ajax/1/free/1/ 这种   翻页参数隐藏在网址中，但是发现在网抓的时候 提示错误   ，不明所以  想加个UA请求头发现没地方加  不明白这个错误的意思，恳求各位大佬帮忙看下，谢谢

静听溪流

好像这样可以直接可以出来了

everbest2015

静听溪流 发表于 2024-7-1 20:46
好像这样可以直接可以出来了

感谢大佬  但是我测试了一下 发现这个网站请求头有参数加密 。。。。

静听溪流

everbest2015 发表于 2024-7-2 12:13
感谢大佬  但是我测试了一下 发现这个网站请求头有参数加密 。。。。

这样好像可以   就是中文解析的时候  是乱码  不知道怎么解决

everbest2015

静听溪流 发表于 2024-7-2 22:05
这样好像可以   就是中文解析的时候  是乱码  不知道怎么解决

前面几页是可以  但是要是第10页  或者10页往后 貌似就报错了

静听溪流

everbest2015 发表于 2024-7-3 09:58
前面几页是可以  但是要是第10页  或者10页往后 貌似就报错了

你中文解析的问题解决了吗？  我操作的时候  中文弄出来都是乱码

everbest2015

let
    url="https://data.10jqka.com.cn/market/ggsyl/field/syl/order/desc/page/4/ajax/1/free/1/",  
    headers=[Cookie="Hm_lvt_78c58f01938e4d85eaf619eae71b4ed1=1720004032; Hm_lvt_60bad21af9c824a4a0530d5dbf4357ca=1720004032; Hm_lvt_f79b64788a4e377c608617fba4c736e2=1720004032; Hm_lpvt_78c58f01938e4d85eaf619eae71b4ed1=1720004283; Hm_lpvt_60bad21af9c824a4a0530d5dbf4357ca=1720004284; Hm_lpvt_f79b64788a4e377c608617fba4c736e2=1720004284; v=A6G_k3HGY_WC-c8BXcWTS75QsGa-ThZWP8G5AgN3nqoH68-YS54lEM8SySGQ"],
    web=Text.FromBinary(Web.Contents(url,[Headers=headers]),0),
    t=Web.Page(web){0}[Data]
in
   t  我是这样写的  这样就没乱码了

everbest2015

静听溪流 发表于 2024-7-3 10:31
你中文解析的问题解决了吗？  我操作的时候  中文弄出来都是乱码

中文问题好搞定  重点是   他这个网页请求头有个参数  Hexin-V:  逆向了 ，他是从cookie 里面动态获取的

静听溪流

everbest2015 发表于 2024-7-3 19:18
中文问题好搞定  重点是   他这个网页请求头有个参数  Hexin-V:  逆向了 ，他是从cookie 里面动态获取的

这知识对于我来说  超纲了