PQ爬取的数据一直是第一页的重复，请教一下大家如何解决？

TANGSHIDONG

我想要爬取天天基金网某一基金的日净值数据，在知乎上搜到了用PQ的教程（https://zhuanlan.zhihu.com/p/351209623）


函数是参考教程上的，但是我尝试调用函数查看第二页的数据，发现还是第一页的数据，我选择所需网页数据第二页，该网页的连接没有发生变化

请问大家这个该怎么修改函数或者还有其他解决办法？

everbest2015

import requests
import time


def spider(page: int):
    headers = {
        "Referer": "https://fundf10.eastmoney.com/",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36",
    }
    url = "https://api.fund.eastmoney.com/f10/lsjz"
    params = {
        "fundCode": "004532",
        "pageIndex": str(page),
        "pageSize": "20",
        "startDate": "",
        "endDate": "",
        "_": str(int(time.time() * 1000))
    }
    response = requests.get(url, headers=headers, params=params)

    json_data = response.json()["Data"]["LSJZList"]
    print(f"当前采集的页数是: {page}{'*' * 200}")
    for data in json_data:
        print(data)


if __name__ == '__main__':
    for p in range(1, 89):
        spider(p)

tomslee

问题有两个，一是M函数那块写错了，Web.Concents函数的第一个参数应该是一个网址，教程里的这个网址是构造出来的，大致结构应该是“http……” & “page页码” & “其他”，&的作用是把前后连接起来组成一个网址，但是你的“”双引号放错位置了。
二是你理解错了，PQ之所以构造网址是因为每一页的表格在不同的网页上，即一个网址对应一个表格，但是我查了一下这个基金网的表格数据不是这样的，它的表格都在同一个网址下，可以试试点击“下一页”，观察浏览器网址栏，它是不变的。所以构造网址这一招就没用了。看似PQ用了很多网址，但是每次出现的表格都是默认的第一页。
另外你运气不错，这个网站忽略了某些字符（结尾的数字），所以构造的网址如https:……html1，https:……html2，https:……html3等等都能打开，不然由于第一条错误，正常来说第一页表格你也获取不到
这种情况PQ不好使了，用python吧。或者某些RPA软件，比如automate（微软出品，不太符合国人习惯）、影刀（国产的，比较符合国人习惯，个人用是免费的，比较喜欢这个）等等。