你们都用多大的内存？

lrypower · 发表于 2024-6-7 12:18

我的16G内存，同时处理几十个excel，400万条左右的数据时，慢的要死。各位大神有没有什么好招数啊，分享讨论一下啊

sayhi95 · 发表于 2024-6-7 14:29

几百万数据就建议不要在Excel里处理了

lrypower · 发表于 2024-6-7 15:09

sayhi95 发表于 2024-6-7 14:29
几百万数据就建议不要在Excel里处理了

有些数据文件原格式如此，那最好的办法是清洗后写入数据库吗？

wdx223 · 发表于 2024-6-7 15:22

sayhi95 发表于 2024-6-7 14:29
几百万数据就建议不要在Excel里处理了

你建议得很好，下次不要再建议了。

sayhi95 · 发表于 2024-6-7 16:02

wdx223 发表于 2024-6-7 15:22
你建议得很好，下次不要再建议了。

zpy2 · 发表于 2024-6-7 17:51

lrypower 发表于 2024-6-7 15:09
有些数据文件原格式如此，那最好的办法是清洗后写入数据库吗？

数据文件原格式如此

这么大数据量，Excel得多大的文件，Excel打开也慢吧

lrypower · 发表于 2024-6-8 11:18

zpy2 发表于 2024-6-7 17:51
数据文件原格式如此

这么大数据量，Excel得多大的文件，Excel打开也慢吧

都是些小文件，但几十上百个，我是最近做一下期货数据，从交易所下载的，人家每个月一份数据，下载个几年的不就有这么多了吗？真的很慢，这两天我还试了一下直接用python，发现也很慢，可能是因为有些复杂计算的原因，不知道怎么提高速度了

zpy2 · 发表于 2024-6-8 12:08

lrypower 发表于 2024-6-8 11:18
都是些小文件，但几十上百个，我是最近做一下期货数据，从交易所下载的，人家每个月一份数据，下载个几年 ...

感觉如果是一般统计还是导入数据库比较好。

wxg0007 · 发表于 2024-6-8 20:54

本帖最后由 wxg0007 于 2024-6-8 20:58 编辑

lrypower 发表于 2024-6-8 11:18
都是些小文件，但几十上百个，我是最近做一下期货数据，从交易所下载的，人家每个月一份数据，下载个几年 ...

把文件发来，我们一起研究一下,发邮箱66994676@qq.com,我主要看看我这32G卡不卡

lrypower · 发表于 2024-6-8 23:48

wxg0007 发表于 2024-6-8 20:54
把文件发来，我们一起研究一下,发邮箱,我主要看看我这32G卡不卡

已发邮件，若未收到请回复此条消息，用163邮箱发的

		自动登录	找回密码
密码			免费注册

[讨论] 你们都用多大的内存？