如果处理100个excel表，每个100万行，300兆，仅做数据分析和匹配查询，什么方法最好

weilifei

各位大佬好：

最近遇到一些大数据量的处理，大概有100个excel工作簿，每个工作簿约100万行，300兆，
运行VLOOKUP的做匹配查询非常慢，而且是不是会卡死。
想问下大佬，这种情况用 power query 可以吗？ 还是Python会更好？
如果是仅做数据分析和匹配查询，什么方法最好

橒♂蝣

SQL类的最好

高个子

加起来一亿行，这个情况用pq是没有意义的，Excel只适合小数据的情况。
Python个人感觉没有问题，如果你会Python那可以直接用Python编程解决

https://club.excelhome.net/thread-361419-1-1.html
如果你不会Python那建议用数据库，这个帖子也说了啥时候用Excel，啥时候用数据库。

数据库软件比如mysql，微软出的access等都可以，某度查到的数据库软件都可以解决数据量特别大的问题

静听溪流

二选一的话  肯定是python更适合点

hxj119

power query 还是Python，当然是后者,python+数据库

weilifei

高个子 发表于 2024-1-17 17:46
加起来一亿行，这个情况用pq是没有意义的，Excel只适合小数据的情况。
Python个人感觉没有问题，如果你会P ...

感谢，厉害

17601211544

静听溪流 发表于 2024-1-17 17:55
二选一的话  肯定是python更适合点

https://club.excelhome.net/threa ... tml?_dsign=d78a0625
美女大神，来帮我写个公式

micch

PQ肯定没有PY快，不过不用Excel更快，先合并数据到数据库，然后SQL查询快

weilifei

静听溪流 发表于 2024-1-17 17:55
二选一的话  肯定是python更适合点

如果想达到excel的效果，是不是得需要Python和数据库同时用上啊？

evluan

weilifei 发表于 2024-1-18 17:57
如果想达到excel的效果，是不是得需要Python和数据库同时用上啊？

python就够了，随便盘，装个python，pacharm，pandas 随便盘，B站里搜几个教程，对着代码复制粘贴直接秒出了。