提取任意多行多列中每列都有的重复值,数据量大速度快

吴中泉

洋务德雷 发表于 2023-3-29 17:18
看一下这个，我这个好像代码量不大。

看的如此好的数据结构和算法，眼睛发亮。
但我试了一下几万行4列的数据，运行程序出错了，提示数组下标越界。
等下我来调试一下。

吴中泉

wanghan519 发表于 2023-3-29 18:11
写了个好玩的，所有单元格写入同一个字典d，只不过value是按位或2的列数次方(列数从0开始到3)，最后value为 ...

这个是wps里编的吧，这个脚本还不会，得收藏慢慢消化。

吴中泉

micch 发表于 2023-3-29 18:42
行数不是很大的情况下，字典就是最快的方法。如果字典速度不行，可以根据数据的情况进行处理。以举例来说， ...

双循环每个数据逐一比对的算法时间复杂度高，为O(n^2),加上多列，时间复杂度为O(列数*n^2)

micch

吴中泉 发表于 2023-3-29 20:25
双循环每个数据逐一比对的算法时间复杂度高，为O(n^2),加上多列，时间复杂度为O(列数*n^2)

不需要双循环比对，字典算是循环比对，只不过字典判断速度算是比较快。

我是说，如果实际数据是数字，甚至是个位数，那根本不需要循环比对，按值处理就行。如果是个位数，只需循环10个数字，如果是两位数只需循环99次，和数据量无关

吴中泉

洋务德雷 发表于 2023-3-29 17:18
看一下这个，我这个好像代码量不大。

我调试了一下代码，并稍加修改，通用一些，速度很快，几乎瞬间完成（200多毫秒），一万多行四列数据比我编快了3倍，我的代码耗时在排序上不少。

1. Option Explicit
   
2. 
   
3. Sub Main()
   
4.       Dim d As Object
   
5.       Dim arr, i As Long, j As Long
   
6.       Dim t
   
7.       arr = ActiveSheet.Range("a1").CurrentRegion
   
8.       Set d = CreateObject("scripting.dictionary")
   
9.       For i = 1 To UBound(arr)
   
10.             d(arr(i, 1)) = 1
    
11.       Next i
    
12. '      Stop
    
13.       For j = 2 To UBound(arr, 2)
    
14.             For i = 1 To UBound(arr)
    
15.                   If d.exists(arr(i, j)) Then
    
16.                         d(arr(i, j)) = d(arr(i, j)) + 1
    
17.                   End If
    
18.             Next i
    
19.       Next j
    
20. 
    
21.       For i = 1 To UBound(arr)
    
22.             If d(arr(i, 1)) < UBound(arr, 2) Then
    
23.                   d.Remove (arr(i, 1))
    
24.             End If
    
25.       Next i
    
26. '      Stop
    
27.       Range("f2").Resize(d.Count, 1) = Application.Transpose(d.keys)
    
28.       Erase arr
    
29.       Set d = Nothing
    
30. End Sub
    
31. '时间复杂度：O(n+n*列数+n)
    

复制代码

但不知为什么遇到这么大的数字（上万条以上），程序出错了，是不是长数字作字典键名有问题？

吴中泉

micch 发表于 2023-3-29 21:17
不需要双循环比对，字典算是循环比对，只不过字典判断速度算是比较快。

我是说，如果实际数据是数字， ...

嗯嗯，位数少无所谓，主要是查找很多位数（如身份证），还有文字等。

吴中泉

吴中泉 发表于 2023-3-29 22:33
我调试了一下代码，并稍加修改，通用一些，速度很快，几乎瞬间完成（200多毫秒），一万多行四列数据比我 ...

反复思考了一下，程序出错的原因是234等列每列中有重复数据，对这些列也要去重。

zxsea_7426

吴中泉 发表于 2023-3-29 22:33
我调试了一下代码，并稍加修改，通用一些，速度很快，几乎瞬间完成（200多毫秒），一万多行四列数据比我 ...

从第一列到最后一列，为啥要分两段循环，明明一次双循环即可以的

wanghan519

吴中泉 发表于 2023-3-29 20:19
这个是wps里编的吧，这个脚本还不会，得收藏慢慢消化。

是wps写的，但思路很简单改写不难，建一个字典d，遍历每个数据作为字典的key，字典的值是一个二进制的数字，比如第一列就用这个值 或操作 1，第二列就 或2，第四列就 或8，这样只遍历一次复杂度O(n)，最后只要筛出值是15（1+2+4+8=15）的就是四列都出现的

吴中泉

zxsea_7426 发表于 2023-3-30 07:02
从第一列到最后一列，为啥要分两段循环，明明一次双循环即可以的

原作者编写的,主要考虑减少加入字典的元素,比如234列就不要加入,只要查一下以单元格数据为键名的是否在列1存在,存在就加1,说明该数据与列1中数据有重复.