咨询一下PQ的适用性

septet · 发表于 2022-6-10 22:30

因工作需要，目前需要针对800W-1000W左右条数据做处理和透视（处理的过程仅限合并多个CSV、删除满足条件的特定行和列，增加一些类似if的判断列，另外也会涉及一些两个表的匹配（好像叫合并查询），最后输出透视表）。因为excel肯定是带不动的，后来听说了PQ这个工具，现在刚开始看了点视频教程简单了解了下，不过其实还是不怎么了解。我想问下熟悉这个工具的朋友，用PQ带得动吗？电脑配置：16G+512G，cpu是AMD的R5 4600H。另外顺便问下合并工作表时怎么给合并的数据添加一列表名

luzwales · 发表于 2022-6-10 22:51

如果是简单的，列的操作问题不大，怕分组计算，合并查询就不行！
最好用python Pandas处理最容易！

septet · 发表于 2022-6-10 23:21

luzwales 发表于 2022-6-10 22:51
如果是简单的，列的操作问题不大，怕分组计算，合并查询就不行！
最好用python Pandas处理最容易！

phthon啊……之前同事就是用这个，数据得跑几个小时，感觉效率不是很高。不过谢谢回复，我了解下phython先，感觉要从入门到放弃了

zhangmi · 发表于 2022-6-11 08:59

理论上说1000w以内的数据是python最擅长的领域，如果Python要几个小时，PQ估计得跑几天？

windgod489 · 发表于 2022-6-11 09:45

100W以下可以用PQ，超大量专业工具python处理。 1000W用PQ放过电脑和自己吧

zpy2 · 发表于 2022-6-11 12:55

1000我感觉要1g数据了，上数据库吧，几个g都不是事

bjzzxhzl · 发表于 2022-6-12 08:58

这种体量的数据用PQ是要命了，还是上数据库靠谱一些。

看见星光 · 发表于 2022-6-12 14:15

如果是讲计算效率，那就不用考虑PQ了的，PQ只是开发效率高，计算效率和编程语言没得比的。

		自动登录	找回密码
密码			免费注册

[求助] 咨询一下PQ的适用性

评分