百万行数据如何快速去重？

yeminqiang

ivrdachen

yeminqiang 发表于 2016-12-16 16:38

非常感谢，一直以为这个删除重复项，只能是一整行重复的

microyip

yeminqiang 发表于 2016-12-16 16:38

这个动画怎么录制？

lsc900707

ivrdachen 发表于 2016-12-16 16:42
非常感谢，一直以为这个删除重复项，只能是一整行重复的

无语了，原来是不知道这个去重功能的强大和用法。

yeminqiang

microyip 发表于 2016-12-16 16:43
这个动画怎么录制？

帧数高一点,录的越清晰,不过gif也会更大

ggg_PConline.zip (115.67 KB, 下载次数: 37)

2016-12-16 16:45 上传

点击文件名下载附件

excelxs2008

Sub 去重()
    Dim d, myrng As Range
    Set d = CreateObject("Scripting.Dictionary")
    For i = 1 To Cells(rows.Count,1).End(xlup).Row
        s = Cells(i, 1)
        If Not d.exists(s) Then      
            d(s) = ""                 
        Else                           
            If myrng Is Nothing Then      
            Set myrng = Rows(i)           
            Else                       
                Set myrng = Union(myrng, Rows(i))      
            End If
        End If
    Next
    If Not myrng Is Nothing Then
       myrng.Delete         
    End If
    Set d = Nothing        
    Set myrng = Nothing        
End Sub


或者利用ADO，SQL语句 DISTINCT关键字排除重复记录

jsgj2023

yeminqiang 发表于 2016-12-16 16:38

这个动画有2m吗？

yeminqiang

jsgj2023 发表于 2016-12-17 07:41
这个动画有2m吗？

木有,不超过1M

Kaohsing

ivrdachen 发表于 2016-12-16 16:20
我举个例子吧：
534543        张三
534543        李四

字典去重：

1. <blockquote>Sub test()

复制代码

jjmysjg

Kaohsing 发表于 2016-12-17 10:11
字典去重：

没有删除多余的行