PQ从WEB获取数据很慢

my0745 · 发表于 2023-4-17 19:17

我通过PQ从web上获取数据，一共有5488页，每一页10条，速度很慢，抓取到1000页的时候就基本卡死了，有没有什么办法可以提升速度？

剑指E · 发表于 2023-4-17 20:42

PQ一旦打开，里面的所有数据都将加载到内存，看看内存占用率是不是近乎100%了？如果是，只能升级内存。

my0745 · 发表于 2023-4-17 21:08

剑指E 发表于 2023-4-17 20:42
PQ一旦打开，里面的所有数据都将加载到内存，看看内存占用率是不是近乎100%了？如果是，只能升级内存。

内存使用35%左右。总共8GB。

390717298 · 发表于 2023-4-18 08:06

跟网络速度还有对方网络是不是有反爬机制有关系吧！

my0745 · 发表于 2023-4-18 11:32

390717298 发表于 2023-4-18 08:06
跟网络速度还有对方网络是不是有反爬机制有关系吧！

我第一感觉也是有反爬机制。昨天电脑一夜没关机，都没爬取下来。而且一直在转圈，死循环一样。

		自动登录	找回密码
密码			免费注册

[讨论] PQ从WEB获取数据很慢