[原创]VBA筛选非重复值方法比较

UNARTHUR · 发表于 2005-6-21 09:36

以下是引用ab007在2005-6-21 8:48:00的发言： 谢谢UNARTHUR，总结的很好，试了一下其中的方法一的结果，上海与无锡好像还是重复了，劳请看看

谢谢提醒！已经在1楼处修正，请重新下载

UNARTHUR · 发表于 2005-6-21 09:40

以下是引用foshan在2005-6-21 9:29:00的发言：
Long_III 兄，向您学习了一招清除错误处理的方法。(随便提一句：咱俩同时回复帖子的事情我估计也不少于5次了，呵呵!)

Err.Clear On Error GoTo 0 '清除错误处理，以后出现错误时还是有显示

我以前曾经发过一个贴问这个问题，未果，现在终于知道了，多谢！

加上这2句可扩展性确实增加了，有利于程序调试。不过简单性要打折扣喽，因为偶都才知道呢，呵呵！

[此贴子已经被作者于2005-6-21 9:59:58编辑过]

UNARTHUR · 发表于 2005-6-21 09:45

加上Application.ScreenUpdating = False确实要快不少呢，感到有点奇怪。因为几个代码基本上都是内存数组计算，并没有在工作表上操作，为什么会提高速度？难道Application.ScreenUpdating = False还有其他一些作用？不解，long3兄知道的话不妨解释一下？[em06][em06][em06]

Long_III · 发表于 2005-6-21 09:53

我也不是很清楚，也许你读数据、写数据会涉及到屏幕更新吧，反正一般涉及工作表的程序我都会加上这两句，有百利而无一害！

你的第4、5种方法很好，数组真的提速不少，就跟教科书似的，我已收藏！谢谢

支持下一贴！

【经过测试，第5种方法特好使，对于两列数据的重复问题，数据29211行，去掉重复值之后是2219行，用第5种方法才运行1.39秒左右，如果采用高级筛选，跟死机似的，采用countif肯定不行，用vlookup方法，速度也超慢，能搞定也得十分钟，代码如下】

不知我这有没有喧宾夺主的意思，希望UNARTHUR兄原谅！再次感谢UNARTHUR兄！

Sub aaa() Dim i&, p&, c&, arr, arr1() Dim s As String Dim h As New Collection Dim t

t = Timer Application.ScreenUpdating = False [e:f].ClearContents p = [a65536].End(xlUp).Row arr = Range("a1:b" & p)

On Error Resume Next For i = 1 To p s = arr(i, 1) & "---" & arr(i, 2) '加一个在ab列种都没有的字段"---" h.Add s, CStr(s) Next i Err.Clear On Error GoTo 0 '清除错误处理，以后出现错误时还是有显示

c = h.Count ReDim arr1(1 To c, 0 To 1) For i = 1 To c arr1(i, 0) = Split(h(i), "---")(0) arr1(i, 1) = Split(h(i), "---")(1) Next i Range("e1:f" & c) = arr1 t1 = Timer - t MsgBox "用时：" & t1 & "秒" Application.ScreenUpdating = True

End Sub

[此贴子已经被作者于2005-6-21 10:15:15编辑过]

figfig · 发表于 2005-6-21 10:38

不错

但发现速度与不重复数成反比，如果A1：a10000 都不重复，

则时间从0.5秒上升到50秒。

有的方法不重复数少时慢，多时反而快，呵呵

[此贴子已经被作者于2005-6-21 10:49:05编辑过]

lj1226189 · 发表于 2005-6-21 10:50

Sub aaa() Dim i&, p&, c&, arr, arr1() Dim s As String Dim h As New Collection Dim t

t = Timer Application.ScreenUpdating = False [e:f].ClearContents p = [a65536].End(xlUp).Row arr = Range("a1:b" & p)

On Error Resume Next For i = 1 To p s = arr(i, 1) & "---" & arr(i, 2) '加一个在ab列种都没有的字段"---" h.Add s, CStr(s) Next i Err.Clear On Error GoTo 0 '清除错误处理，以后出现错误时还是有显示

c = h.Count ReDim arr1(1 To c, 0 To 1) For i = 1 To c arr1(i, 0) = Split(h(i), "---")(0) arr1(i, 1) = Split(h(i), "---")(1) Next i Range("e1:f" & c) = arr1 t1 = Timer - t MsgBox "用时：" & t1 & "秒" Application.ScreenUpdating = True

End Sub

UNARTHUR · 发表于 2005-6-21 11:08

根据fig兄提示确实发现很奇怪的问题，如果非重复数很多的话速度反而是：

方法3(0.19s)>方法2(1.5s)>方法4(14s)>方法1(22s)。

方法3排序功能是经过优化的代码，对于数据排列的规律性不敏感，经常是排列越乱的数据排序起来越快。所以速度反而提升。

方法2高级筛选也是经过了ms优化的程序，与方法3类似，速度也有所提升。

方法4大家看代码就知道前例中虽然是2重循环循环，但是因为重复的太多了，第二重循环很快就跳出了，因此可以忽略，速度很快。但是如果重复值很少第二重循环则不可忽略。速度会下降。

奇怪的是方法5不可用（怀疑是collection对象有最大数量限制？）。

看来方法的好坏还和数据形态有很大的关系。综合起来还是方法3最好吧？（见附件）

[此贴子已经被作者于2005-6-21 11:22:34编辑过]

glober609 · 发表于 2005-6-21 11:40

我用countif是这么处理的

Sub Sheet1_按钮3_单击() Dim rowmax As Long Dim a As Integer Dim irow As Long mtime = Timer rowmax = [a65536].End(xlUp).Row a = 1 Application.ScreenUpdating = False For irow = 1 To rowmax cellcount = Application.WorksheetFunction.CountIf(Range(Cells(1, 1), Cells(irow, 1)), Cells(irow, 1)) If cellcount = 1 Then Cells(a, 2) = Cells(irow, 1) a = a + 1 End If Next irow MsgBox "运行时间为：" & Timer - mtime Application.ScreenUpdating = False End Sub

Long_III · 发表于 2005-6-21 13:23

不重复数据超过1万，用集合【第5种方法】运行也正常啊，请看我的测试文件

2EMpCXHC.rar (125.05 KB, 下载次数: 379)

直接点击run，多运行几次看看，数据2万的时候最快的可以到15.5625秒

不知UNARTHUR兄怎么测试的，说不行？！～

UNARTHUR · 发表于 2005-6-21 14:16

以下是引用Long_III在2005-6-21 13:23:45的发言：
不重复数据超过1万，用集合【第5种方法】运行也正常啊，请看我的测试文件

直接点击run，多运行几次看看，数据2万的时候最快的可以到15.5625秒

不知UNARTHUR兄怎么测试的，说不行？！～

呵呵！偶犯了一个低级错误，那就是运行完的数据被遮到了没看到！！害我检查了好长时间。[em06][em06][em06]

		自动登录	找回密码
密码			免费注册

[原创]VBA筛选非重复值方法比较

龙三老师能否把下面解释一下！