字典查重统计数据

ykcbf1100

天地一相 发表于 2024-11-7 07:00
对SQL，我的数据量也太大了。我的数据是在内存中生成，用完就销毁。我再想想有没巧妙的方法

对大数据我没有研究，这个我无能为力。

shiruiqiang

个人觉得主要是1、写入Excel的问题；2、数组到一定的容量，查找问题。
就如sql数据库，也有一定的行数限制

ynzsvt

天地一相 发表于 2024-11-7 06:53
谢谢，昨天我测试了，5000万行，80列，20分钟都没结束。只好强退。有什么其它的方式能1分钟搞定呢？

什么版本的Excel有5000万行了，谢谢告知一下。

天地一相

shiruiqiang 发表于 2024-11-7 07:22
个人觉得主要是1、写入Excel的问题；2、数组到一定的容量，查找问题。
就如sql数据库，也有一定的行数限制

嗯，谢谢。这个我明白，表格行数限制。我的是在内存生成，使用，只有最后很少的一部分结果才需要写回。我问了下AI，建议使用哈希法，不懂，正在研究。

shiruiqiang

天地一相 发表于 2024-11-7 08:20
嗯，谢谢。这个我明白，表格行数限制。我的是在内存生成，使用，只有最后很少的一部分结果才需要写回。我 ...

https://club.excelhome.net/forum ... hlight=%B9%FE%CF%A3

天地一相

shiruiqiang 发表于 2024-11-7 08:31
https://club.excelhome.net/forum.php?mod=viewthread&tid=1372101&highlight=%B9%FE%CF%A3

感谢！瞅瞅

天地一相

shiruiqiang 发表于 2024-11-7 08:31
https://club.excelhome.net/forum.php?mod=viewthread&tid=1372101&highlight=%B9%FE%CF%A3

看不懂呀。不知道就我的具体情况，如何修改使用。

shiruiqiang

看了ykcbf1100老师代码，我个人一点想法：
1、5000w的数据如何存放？
2、假设100w行数据，第7列没必要，可以直接输入1。然后1-6列做字典，判断字典的次数。
再然后循环100w行，如果字典的值>1的话，第七列改为0，第8列输入字典的次数，然后移除字典。可能会加快速度。

天地一相

shiruiqiang 发表于 2024-11-7 09:09
看了ykcbf1100老师代码，我个人一点想法：
1、5000w的数据如何存放？
2、假设100w行数据，第7列没必要， ...

对，谢谢，是可以少一列。存放不担心，都在内存，结果行数符合表格限制。我在尝试减少字符串操作，初始时，我就一次性生成合并内容在第7列，直接对这一列内容字典即可。查阅发现，使用的字典就是哈希表的一种。