Power BI

lrypower Lv.2

2024-6-7 12:18 关注
我的16G内存，同时处理几十个excel，400万条左右的数据时，慢的要死。各位大神有没有什么好招数啊，分享讨论一下啊
赏
4244阅读
14回复 倒序

sayhi95 Lv.7 2楼

2024-6-7 14:29
几百万数据就建议不要在Excel里处理了

lrypower 楼主 3楼

2024-6-7 15:09
引用: sayhi95 发表于 2024-6-7 14:29
几百万数据就建议不要在Excel里处理了

有些数据文件原格式如此，那最好的办法是清洗后写入数据库吗？

wdx223 Lv.6 4楼

2024-6-7 15:22
引用: sayhi95 发表于 2024-6-7 14:29
几百万数据就建议不要在Excel里处理了

你建议得很好，下次不要再建议了。

sayhi95 Lv.7 5楼

2024-6-7 16:02
引用: wdx223 发表于 2024-6-7 15:22
你建议得很好，下次不要再建议了。

                                   

zpy2 Lv.7 6楼

2024-6-7 17:51
引用: lrypower 发表于 2024-6-7 15:09
有些数据文件原格式如此，那最好的办法是清洗后写入数据库吗？

数据文件原格式如此

这么大数据量，Excel得多大的文件，Excel打开也慢吧

lrypower 楼主 7楼

2024-6-8 11:18
引用: zpy2 发表于 2024-6-7 17:51
数据文件原格式如此

这么大数据量，Excel得多大的文件，Excel打开也慢吧

都是些小文件，但几十上百个，我是最近做一下期货数据，从交易所下载的，人家每个月一份数据，下载个几年的不就有这么多了吗？真的很慢，这两天我还试了一下直接用python，发现也很慢，可能是因为有些复杂计算的原因，不知道怎么提高速度了

zpy2 Lv.7 8楼

2024-6-8 12:08
引用: lrypower 发表于 2024-6-8 11:18
都是些小文件，但几十上百个，我是最近做一下期货数据，从交易所下载的，人家每个月一份数据，下载个几年 ...

感觉如果是一般统计还是导入数据库比较好。

wxg0007 Lv.3 9楼

2024-6-8 20:54
本帖最后由 wxg0007 于 2024-6-8 20:58 编辑
引用: lrypower 发表于 2024-6-8 11:18
都是些小文件，但几十上百个，我是最近做一下期货数据，从交易所下载的，人家每个月一份数据，下载个几年 ...

把文件发来，我们一起研究一下,发邮箱66994676@qq.com,我主要看看我这32G卡不卡

lrypower 楼主 10楼

2024-6-8 23:48
引用: wxg0007 发表于 2024-6-8 20:54
把文件发来，我们一起研究一下,发邮箱,我主要看看我这32G卡不卡

已发邮件，若未收到请回复此条消息，用163邮箱发的
加载更多
高级模式
插入