百万行数据如何快速去重？

ivrdachen

数据共百万行，4列，需要将A列中重复的行去除保留一个，其他列数据可能相同也可能不同，只需要保留一行即可，我现在的方法是，新建一个表，for循环，用find函数在A列中查找，如果在新建的表中未查找到，就保存，但是当找到10万不重复数据的时候，发现程序非常慢了，有没有快点的方法呢？
我举个例子吧：
534543 张三
534543 李四
754334 小明
534543 王五
754334 小明
比如上述两列数据，我需要取出：
534543 张三
754334 小明
也就是说只需要第一列不重复即可，我写的代码如下：

1. Sub quchong()
   
2. 
   
3. j = 1
   
4. 
   
5. For i = 1 To Sheets("原始数据").UsedRange.Rows.Count
   
6. 
   
7. With ActiveSheet.Range("A:A")
   
8. 
   
9. Set chazhao = .Find(Sheets("原始数据").Cells(i, 1).Value, lookat:=xlPart)
   
10. 
    
11. End With
    
12. 
    
13. If chazhao Is Nothing Then
    
14. 
    
15. Cells(j, 1) = Sheets("原始数据").Cells(i, 1).Value
    
16. 
    
17. Cells(j, 2) = Sheets("原始数据").Cells(j, 2).Value
    
18. 
    
19. j = j + 1
    
20. 
    
21. End If
    
22. 
    
23. Next i
    
24. 
    
25. End Sub<p> </p>

复制代码

yangyangzhifeng

试试字典看看

lsc900707

再好的办法也要有数据支持，上传你的数据文件。

ivrdachen

lsc900707 发表于 2016-12-16 16:12
再好的办法也要有数据支持，上传你的数据文件。

内部的资料，不好上传呢，想求个思路

AS850629754

导到ACCESS里，SELECT DISTINCT * FROM TABLE1 INTO TABLE2

ivrdachen

lsc900707 发表于 2016-12-16 16:12
再好的办法也要有数据支持，上传你的数据文件。

我举个例子吧：
534543        张三
534543        李四
754334        小明
534543        王五
754334        小明
比如上述两列数据，我需要取出：
534543        张三
754334        小明

也就是说只需要第一列不重复即可，我写的代码如下：

1. Sub quchong()
   
2. j = 1
   
3. For i = 1 To Sheets("原始数据").UsedRange.Rows.Count
   
4. With ActiveSheet.Range("A:A")
   
5. Set chazhao = .Find(Sheets("原始数据").Cells(i, 1).Value, lookat:=xlPart)
   
6. End With
   
7. If chazhao Is Nothing Then
   
8. Cells(j, 1) = Sheets("原始数据").Cells(i, 1).Value
   
9. Cells(j, 2) = Sheets("原始数据").Cells(j, 2).Value
   
10. j = j + 1
    
11. End If
    
12. Next i
    
13. End Sub<p> </p>

复制代码

yeminqiang

powerquery?

lsc900707

ivrdachen 发表于 2016-12-16 16:20
我举个例子吧：
534543        张三
534543        李四

office2010以上版本带有去重功能，选择数据-----删除重复项

39660519

SQL应该会快点

ivrdachen

lsc900707 发表于 2016-12-16 16:26
office2010以上版本带有去重功能，选择数据-----删除重复项

那个删除重复只能是一整行重复才行