海量数据处理方法的讨论

天地一相

假如使用VBA处理海量数据，例如对总量（分批生成）一万亿行20列的生成数据进行查询计算处理，并获得结果。请问：有什么好的方法可以快速执行任务吗。不断优化提速的努力下（循环设计，流程优化，数据类型，等），我目前使用的是数组法与object实现类似并行计算（9开）的方法，1秒大约能处理70万行数据。很长时间来，也没能继续找到有什么更快的方法了。注意到2019直接有MultiThreadedCalculation这个并行计算功能了，还没测试使用，但貌似与我目前多开并行可能没什么速度上的差别。特此请教，若您有什么好建议，告诉一下。


PS:就在期待出现一个更好的方法的时候，脑子灵光一现，出现一个巧妙的想法，赶紧编写测试，速度提升一半多！

zxsea_7426

Excel单表格最大 装载量为1048576行远远达不到你的标准，所以别在这儿提问了

天地一相

zxsea_7426 发表于 2024-10-4 16:14
Excel单表格最大 装载量为1048576行远远达不到你的标准，所以别在这儿提问了

1048576限制不了我的任务，原始数据只在内存中，结果大约只有万行左右，妥妥地可以操作。

shiruiqiang

应该是数据库的活了

一招秒杀

shiruiqiang 发表于 2024-10-4 16:49
应该是数据库的活了

专业的事要用专业的工具来干，我完全同意。

perfect131

发一份附件 我也挑战挑战 用vba

起名困难症

一亿行以上，使用数据库比较合适，或者使用Hive

lxw6

使用DuckDB作为数据库，这个是关系型数据库、内存数据库、列式存储数据库，上亿行也就零点几秒（未建索引前提下）。有个excel duckdb的开源项目，可以参考下。我测试，仅支持64位excel。开源项目：https://github.com/bill-ash/excel-duckdb。

天地一相

lxw6 发表于 2024-10-5 17:12
使用DuckDB作为数据库，这个是关系型数据库、内存数据库、列式存储数据库，上亿行也就零点几秒（未建索引前 ...

谢谢，我水平差搞不懂，不知道如何使用，先收藏了。

lilyhcn1

试过5000w条，5G数据的数据处理，数据由工具上传到数据库，excel做界面，从数据库中查询结果，返回数据只有几十条，3秒以内搞定 。