对比差异差异（数据量超过1百万行）

边缘码农

lg747699 发表于 2024-7-3 18:21
老师，你的代码是能运行下去的，时间大约5分钟，可接受。但是提取结果是错误的。

能把完整数据的附件发上来吗？数据可以改头换面一下。

grf1973

lg747699 发表于 2024-7-3 17:14
链接：https://pan.baidu.com/s/1ixlOkRXx7tzXpQOBru8FcA
提取码：1234

你的实际数据里srm文件里，都没有E列，所以肯定下标越界啊

边缘码农

边缘码农 发表于 2024-7-4 08:09
能把完整数据的附件发上来吗？数据可以改头换面一下。

刚发现前面有

魂断蓝桥

用你得数据测试过，在我的电脑上，运行大概2分钟左右





Option Explicit

Sub a()
    Dim WB As Workbook, F$, i&, j%, m%
    Dim cnn, sql$, arr, TIM, brr(1 To 2)
    TIM = Timer
    Application.ScreenUpdating = False
    brr(1) = "erp订单1.xlsx"
    brr(2) = "erp订单2.xlsx"
    Set cnn = CreateObject("adodb.connection")
    cnn.Open "DRIVER=SQLite3 ODBC Driver; Database=:memory:"
    sql = "CREATE TABLE T1(编号)"
    cnn.Execute sql
    sql = "CREATE TABLE T2(编号)"
    cnn.Execute sql
    F = ThisWorkbook.Path & "\srm订单.xls"
    Set WB = Workbooks.Open(F)
    For m = 1 To WB.Sheets.Count
        arr = Sheets(m).[A1].CurrentRegion
        For i = 1 To UBound(arr)
            sql = "INSERT INTO T2 VALUES('" & arr(i, 1) & "')"
            cnn.Execute sql
        Next
    Next
    WB.Close 0
    For j = 1 To 2
        F = ThisWorkbook.Path & "\" & brr(j)
        Set WB = Workbooks.Open(F)
        For m = 1 To Sheets.Count
            arr = WB.Sheets(m).[A1].CurrentRegion
            For i = 2 To UBound(arr)
                sql = "INSERT INTO T1 VALUES('" & arr(i, 1) & "')"
                cnn.Execute sql
            Next
            WB.Close 0
        Next
    Next
    With Sheet1
            .Cells.Clear
            .[A1] = "ERP有但SRM找不到"
            .[D1] = "SRM有但ERP查不到"
            sql = "select 编号 FROM T1 WHERE 编号 NOT IN (SELECT 编号 from T2)"
            .Range("B2").CopyFromRecordset cnn.Execute(sql)
            sql = "select 编号 FROM T2 WHERE 编号 NOT IN (SELECT 编号 from T1)"
            .Range("E2").CopyFromRecordset cnn.Execute(sql)
        End With
        Set cnn = Nothing
        Application.ScreenUpdating = True
        Set cnn = Nothing
        MsgBox Format(Timer - TIM, "0.00秒")
    End Sub


需要下载一个sqlite odbc

https://www.ch-werner.de/sqliteodbc/

grf1973

小改一下即可。结果运行了50几分钟，结果两列分别有93157行，241327行。
看来用remove比较影响速度

魂断蓝桥

用 win10+excel2019_64 位，测试一下，没差多少时间

grf1973

代码改了一下，随时监测进度，3分钟左右。

边缘码农

经调试，发现出现错误的原因。
代码经过修改，已经能运行。