用字典找重复

YanfongY366 · 发表于 2023-7-11 23:16

本帖最后由 YanfongY366 于 2023-7-12 10:03 编辑

用字典找重复, 然后选取重复项目并更新, 只有几百或几千是没有问题, 但当数量到几十万条时就跑不动了. 一启动就当机, 有方法可以优化吗? 谢谢!

未命名.png

Temp.rar (1.09 MB, 下载次数: 9)

chxw68 · 发表于 2023-7-12 08:09

Sub test()
Dim r&, i&
Dim arr, brr
Dim d As Object
Application.ScreenUpdating = False
Application.DisplayAlerts = False
Set d = CreateObject("scripting.dictionary")
With Worksheets("RawData")
.AutoFilterMode = False
r = .Cells(.Rows.Count, 2).End(xlUp).Row
arr = .Range("b2:b" & r)
ReDim brr(1 To UBound(arr), 1 To 1)
For i = 1 To UBound(arr)
d(arr(i, 1)) = d(arr(i, 1)) + 1
Next
For i = 1 To UBound(arr)
brr(i, 1) = d(arr(i, 1))
Next
.Range("c2").Resize(UBound(brr), UBound(brr, 2)) = brr
End With
End Sub

复制代码

chxw68 · 发表于 2023-7-12 08:11

猜测规则重新写的。

YanfongY366 · 发表于 2023-7-12 09:47

本帖最后由 YanfongY366 于 2023-7-12 09:54 编辑

chxw68 发表于 2023-7-12 08:11
猜测规则重新写的。

谢谢, 但原始数据是14位的条码(比如31213733892112), 套用一下, 还是当机了.

chxw68 · 发表于 2023-7-12 09:49

YanfongY366 发表于 2023-7-12 09:47
谢谢, 但原始数据是16位的条码(比如3121113733892112), 套用一下, 还是当机了.

按你上传的附件写的，你的原始数据是什么样子的我不知道。

YanfongY366 · 发表于 2023-7-12 09:57

chxw68 发表于 2023-7-12 09:49
按你上传的附件写的，你的原始数据是什么样子的我不知道。

不好意思, 因为条码是公司资料, 所以用数字代替了, 原始数据是不重复的14位条码.

chxw68 · 发表于 2023-7-12 10:09

YanfongY366 发表于 2023-7-12 09:47
谢谢, 但原始数据是14位的条码(比如31213733892112), 套用一下, 还是当机了.

数据太多了，运行需要一定时间是正常的。

准提部林 · 发表于 2023-7-12 14:30

1) 將"條碼"代入"文本"變數
2) 若有公式引用, 在回寫時肯定會慢

wanghan519 · 发表于 2023-7-12 14:42

百万个key时，vba字典变得很慢，collection类型可以带个key速度更快，但得自己通过报错实现exists方法

其实这么多行，原始数据很大可能不是Excel，直接用其他工具处理更方便

wanghan519 · 发表于 2023-7-12 15:20

本帖最后由 wanghan519 于 2023-7-12 16:27 编辑

测试了一下，把数据从文本读出来当成key加入字典这个过程：

vba里的字典10万个key耗时不到1秒，100万个key耗时55秒
vba里的collection100万个key耗时4.7秒
awk里100万个key耗时0.3秒
perl里100万个key耗时1.3秒
python里100万个key耗时1.1秒

ado确实快，100万数据找出重复值耗时5秒

上面的工具里awk最快，用字典循环两次找出重复值0.6秒

		自动登录	找回密码
密码			免费注册

[求助] 用字典找重复