内容唯一化一键处理

ykcbf1100

天地一相 发表于 2023-3-23 16:15
是的，1048576就是边界，我之前使用分段分层循环处理过3000万行的数据，就是慢，2分钟一次。直接处理文本 ...

你还是牛啊，能处理3000万行数据，才2分钟，不算慢的。
我最多处理过30万行数据。

天地一相

cjc209 发表于 2023-3-23 16:14
那就只有分段处理 再写回去

是的，我正在琢磨看有什么办法分段读取TXT内容，谢谢

cjc209

天地一相 发表于 2023-3-23 16:17
是的，我正在琢磨看有什么办法分段读取TXT内容，谢谢

这种最好就是导入Power bi 或者pandas中处理 一次性完成

cjc209

Power bi 简单学习一下就会很快上手d 不复杂 没有vba复杂

天地一相

ykcbf1100 发表于 2023-3-23 16:17
你还是牛啊，能处理3000万行数据，才2分钟，不算慢的。
我最多处理过30万行数据。

不行的，处理1次2分钟，处理50次，就得100分钟。先放弃了，一直在想快速的处理办法，有时候就是关于流程的思路，工法改变，效率就上去了。

天地一相

cjc209 发表于 2023-3-23 16:21
Power bi 简单学习一下就会很快上手d 不复杂 没有vba复杂

谢谢，搜了下了解了下，先放一放了，一时半会也学不会上不了手。

天地一相

ykcbf1100 发表于 2023-3-23 15:11
键值直接写入确实有你说的问题，换成数组写入就没问题了。

发现一个新问题，处理后会把我E1单元格的公式清空。看来范围没有限制严。处理数据和写回都需要限制在A列里。谢谢

ykcbf1100

天地一相 发表于 2023-3-23 16:38
发现一个新问题，处理后会把我E1单元格的公式清空。看来范围没有限制严。处理数据和写回都需要限制在A列 ...

把.Usedrange改成.range("a3:a"&x)吧

天地一相

ykcbf1100 发表于 2023-3-23 15:11
键值直接写入确实有你说的问题，换成数组写入就没问题了。

谢谢，问题原因找到了，已经修改好了，不用回复了，谢谢你。