关于数据很多的大文件去重(保留最后一次)

阿煮

先遍历表1：按照A列去重，传统的是保留第一次出现的，这里是保留最后一次出现的，然后写入表3。然后遍历表2，首先该号码(A列)在表1的A列没出现过，其次类似似于表1那样的按照A列去重(保留最后一次的)，写入表3，相当于对表1的补充。实际表大概10万行 和 60万行。我目前是数组遍历，但是很占内存，还有什么快的方法吗~谢谢

shiruiqiang

建议sql处理

阿煮

shiruiqiang 发表于 2025-3-27 21:48
建议sql处理

不会sql.目前只局在vba

quqiyuan

参与一下，仅供参考，使用双字典。。。

quqiyuan

代码如下。。。
Sub test()
    Application.ScreenUpdating = False
    Application.DisplayAlerts = False
    t = Timer
    Dim wb As Workbook, sht As Worksheet, sh As Worksheet
    Set wb = ThisWorkbook
    Set sht = wb.Sheets("表1")
    Set sh = wb.Sheets("表2")
    arr = sht.[a1].CurrentRegion
    Set d = CreateObject("scripting.dictionary")
    For i = 1 To UBound(arr)
        s = arr(i, 1)
        d(s) = Application.Index(arr, i)
    Next
    n = 0
    ReDim brr(1 To 10 ^ 6, 1 To UBound(arr, 2))
    For Each Item In d.items
        n = n + 1
        For j = 1 To UBound(Item)
            brr(n, j) = Item(j)
        Next
    Next
    arr = sh.[a1].CurrentRegion
    Set dic = CreateObject("scripting.dictionary")
    For i = 2 To UBound(arr)
        s = arr(i, 1)
        If Not d.exists(s) Then
           dic(s) = Application.Index(arr, i)
        End If
    Next
    With wb.Sheets("表3")
        .Cells.ClearContents
        For Each Item In dic.items
            n = n + 1
            For j = 1 To UBound(Item)
                brr(n, j) = Item(j)
            Next
        Next
        .Columns(1).NumberFormat = "@"
        .[a1].Resize(n, UBound(brr, 2)) = brr
    End With
    Set d = Nothing
    Set dic = Nothing
    Application.ScreenUpdating = True
    Application.DisplayAlerts = True
    MsgBox "共耗时：" & Format(Timer - t, "0.0000") & " 秒！！！", 64
End Sub

lizhipei78

WPS 几十万数据不在话下

lizhipei78

WPS 打开
大文件去重.rar (25.2 KB, 下载次数: 6)

2025-3-27 23:30 上传

点击文件名下载附件

阿煮

lizhipei78 发表于 2025-3-27 23:30
WPS 几十万数据不在话下

JS吗 看着像哈

飞天篮球猪

仅供参考...归并算法，支持大数据

阿煮

quqiyuan 发表于 2025-3-27 22:50
参与一下，仅供参考，使用双字典。。。

这里是保留最后一行哈 不是第一次的行；试了下 感觉直接调用字典item还是小慢哈。据说调用工作表函数会比数组慢些