如何在几十万至上百万数据中快速查找出相对应的数据？

gdstzh

如何在几十万至上百万数据中快速查找出相对应的数据，用什么公式、VBA或数据库会比较好。
各位老大请帮忙出下一主意，我自己用VLOOKUP查找公式，现在还能运用到26万个数据查找，就是4列数据
但再大的数据就比较难处理了。也试了用ACCESS做数据库，用SQL查询，速度比VLOOKUP慢太多了。
下面是我现在做的表格，请大家指点一下。谢谢！ 串码识别.rar (66.44 KB, 下载次数: 46)

2011-3-21 09:40 上传

点击文件名下载附件

zhui_

我用ACCESS做数据库查询时感觉很快，你可以试试先建好索引

ah2005

原帖由 gdstzh 于 2011-3-21 09:40 发表
如何在几十万至上百万数据中快速查找出相对应的数据，用什么公式、VBA或数据库会比较好。
各位老大请帮忙出下一主意，我自己用VLOOKUP查找公式，现在还能运用到26万个数据查找，就是4列数据
但再大的数据就比较难处 ...

楼主不会用SQL 的原因，这个还是第一次听说。
别人上亿的数据都不觉得慢，索引，分组。。楼主肯定没用过吧。

zhaogang1960

“到货总汇”工作表的排列方式不太符合数据库要求，用SQL区要若干个子区域联合查询
用字典吧，速度比SQL会更快：
Sub Macro1()
    Dim arr, brr(), d As Object, i&, j&, lr&
    Set d = CreateObject("scripting.dictionary")
    arr = Range("D3:D" & Range("D65536").End(xlUp).Row)
    For i = 1 To UBound(arr)
        d(arr(i, 1)) = i
    Next
    ReDim brr(1 To i - 1, 1 To 2)
    With Sheets("到货总汇")
        arr = .[a1].Resize(.Cells(Cells.Rows.Count, 1).End(xlUp).Row, .Cells(2, Cells.Columns.Count).End(xlToLeft).Column)
    End With
    lr = UBound(arr)
    For j = 1 To UBound(arr, 2) Step 5
        For i = 3 To lr
            If d.Exists(arr(i, j)) Then
                brr(d(arr(i, j)), 1) = arr(i, j + 1)
                brr(d(arr(i, j)), 2) = arr(i, j + 2)
            End If
        Next
    Next
    Range("b3:c" & Range("b65536").End(xlUp).Row + 3).ClearContents
    [b3].Resize(UBound(brr), 2) = brr
End Sub

zhaogang1960

串码识别.rar (77.19 KB, 下载次数: 183)

2011-3-21 10:17 上传

点击文件名下载附件

dsmch

串码识别.rar (69.96 KB, 下载次数: 80)

2011-3-21 10:28 上传

点击文件名下载附件

gdstzh

谢谢各位老大，对SQL刚学习中。

灰袍法师

SQL其实没什么用，虽然比写编程语言的代码方便得多，但是也慢得多，而且很不灵活，语句又臭又长难看得要命

最要命的是，除非你的数据库很标准，报表要求也很标准，不然稍微有点变化改起来都会要人命，不建议深入学习。

VBA对数十万乃至上百万数据快速检索，可以参考这个

VBA用哈希表检索方法，对一千万级别的数据，随机查询一千万次也就十秒钟左右

VBA字典的原理：哈希查找的示例程序，现在创造你自己的VBA字典吧!
http://club.excelhome.net/thread-655001-1-1.html

简单一点的话，用多个字典联合查询，可以做到
100万数据查询100万次三秒左右，可以看出还是比哈希表慢得多

---- 100万行 ! ----- 多列独立汇总 ---- 自定义汇总方式 ---- 3秒完成一列
http://club.excelhome.net/thread-527009-1-1.html

[ 本帖最后由 灰袍法师 于 2011-3-21 19:36 编辑 ]

woshiyalin

高深，现在用不了，呵呵