基于哈希查找的老窖字典

lxw6

下面是加强版字典中进行传统字典和加强版字典对比测试的语句：

1. Sub 大量数据匹配_新字典()
   
2. '    Dim d As New Jobject '声明dict
   
3. '    d.SetCapacity 5000000 '设置字典的大小
   
4.     '之后添加key和item等和正常字典一样目前在用数组循环添加key和item时需要这样,只支持字符串类型
   
5. '    d.Add CStr(arr(i, 1)), CStr(arr(i, 2))
   
6.     t1 = Timer()
   
7.     Lst1 = Cells(Rows.Count, 1).End(xlUp).Row
   
8.     arr1 = Range("a1").Resize(Lst1, 2).Value
   
9.     Dim d As New JObject '声明dict
   
10.     d.SetCapacity 5000000 '设置字典的大小
    
11.     For i = 1 To Lst1
    
12.         d.Add CStr(arr1(i, 1)), CStr(arr1(i, 1))
    
13.     Next i
    
14.     Dim arr3(1 To 1000000, 1 To 1)
    
15.     For i = 1 To Lst1
    
16.         arr3(i, 1) = d(arr1(i, 2) & "")
    
17.     Next i
    
18.     Erase arr1, arr3
    
19.     Set d = Nothing
    
20.     MsgBox Round(Timer - t1, 1) & "秒！"
    
21. End Sub

复制代码

详见http://club.excelhome.net/thread-1382920-1-1.html
确实没有设置字典大小，我再试试看。

lxw6

下面是加强版字典中进行传统字典和加强版字典对比测试的语句：

1. Sub 大量数据匹配_新字典()
   
2. '    Dim d As New Jobject '声明dict
   
3. '    d.SetCapacity 5000000 '设置字典的大小
   
4.     '之后添加key和item等和正常字典一样目前在用数组循环添加key和item时需要这样,只支持字符串类型
   
5. '    d.Add CStr(arr(i, 1)), CStr(arr(i, 2))
   
6.     t1 = Timer()
   
7.     Lst1 = Cells(Rows.Count, 1).End(xlUp).Row
   
8.     arr1 = Range("a1").Resize(Lst1, 2).Value
   
9.     Dim d As New JObject '声明dict
   
10.     d.SetCapacity 5000000 '设置字典的大小
    
11.     For i = 1 To Lst1
    
12.         d.Add CStr(arr1(i, 1)), CStr(arr1(i, 1))
    
13.     Next i
    
14.     Dim arr3(1 To 1000000, 1 To 1)
    
15.     For i = 1 To Lst1
    
16.         arr3(i, 1) = d(arr1(i, 2) & "")
    
17.     Next i
    
18.     Erase arr1, arr3
    
19.     Set d = Nothing
    
20.     MsgBox Round(Timer - t1, 1) & "秒！"
    
21. End Sub

复制代码

详见http://club.excelhome.net/thread-1382920-1-1.html
确实没有设置字典大小，我再试试看。

lxw6

下面是加强版字典中进行传统字典和加强版字典对比测试的语句：

1. Sub 大量数据匹配_老窖字典()
   
2.     t1 = Timer()
   
3.     Lst1 = Cells(Rows.Count, 1).End(xlUp).Row
   
4.     arr1 = Range("a1").Resize(Lst1, 2).Value
   
5.     Set d = New OldCellarDictionary
   
6.     With d
   
7.         .Size = Lst1 '设置字典的大小
   
8.     End With
   
9.     For i = 1 To Lst1
   
10.         d.Add CStr(arr1(i, 1)), CStr(arr1(i, 1))
    
11.     Next i
    
12.     Dim arr3(1 To 1000000, 1 To 1)
    
13.     For i = 1 To Lst1
    
14.         arr3(i, 1) = d(arr1(i, 2) & "")
    
15.     Next i
    
16.     Erase arr1, arr3
    
17.     Set d = Nothing
    
18.     MsgBox Round(Timer - t1, 1) & "秒！"
    
19. End Sub

复制代码

详见http://club.excelhome.net/thread-1382920-1-1.html
之前确实没有设置字典大小。下面是重新测试结果：
前面是VBScripit字典耗时，后面是老窖字典耗时。
1. 1万数据：0.1s，0.2s
2. 5万数据：0.3s,0.8s
3. 10万数据：0.9s,1.6s(比之前测试多0.1s)
4. 20万数据：3.4s,3,1s
4. 50万数据：23.5s,7.8s（比之前测试多0.5s）
5. 100万数据：105s,16.4s（比之前测试多1.6）
发现：设置字典大小后，速度会更慢！

三坛老窖

lxw6 发表于 2018-3-24 00:54
下面是加强版字典中进行传统字典和加强版字典对比测试的语句：

特意写了存入与提取的比较测试代码，测试结果如下表：

从测试结果可以看出，使用哈希表的字典，当数据量在1万以上时，与VBScript字典相比，速度有明显的优势，在1万以下时，速度也不输给VBScript字典。

测试代码在附件中
----------------------------------------------------------

速度比较测试.rar (52.39 KB, 下载次数: 61)

2018-3-24 11:53 上传

点击文件名下载附件

----------------------------------------------------------

三坛老窖

lxw6 发表于 2018-3-24 00:54
下面是加强版字典中进行传统字典和加强版字典对比测试的语句：

你的这个测试代码有些许误差，但应该不是什么问题，而你的这个测试结果有些奇怪，各档数据量的用时与我得到的结果相差太大了！

On_fire

三坛老窖 发表于 2018-3-24 11:54
特意写了存入与提取的比较测试代码，测试结果如下表：

从测试结果可以看出，使用哈希表的字典，当数据 ...

请问有32元的版本? 64有报错...

三坛老窖

On_fire 发表于 2018-3-24 12:16
请问有32元的版本? 64有报错...

所发布的版本都是32位的，64位的版本，因为我的电脑系统是32位的，所有没有制作64位的，你可根据32位的改写成64位的，应该不会有什么难度的。

carlostevez1984

三坛老窖 发表于 2018-3-24 20:41
所发布的版本都是32位的，64位的版本，因为我的电脑系统是32位的，所有没有制作64位的，你可根据32位的改 ...

您能帮我看看这个问题吗？香川老师给我写的超过15条没法计算出来。http://club.excelhome.net/thread-1397290-1-1.html

On_fire

三坛老窖 发表于 2018-3-24 20:41
所发布的版本都是32位的，64位的版本，因为我的电脑系统是32位的，所有没有制作64位的，你可根据32位的改 ...

老师,

不好意思, 其实我是小白
我试试执行, 你上传的文件, 但有报错(截图)

说甚么是要更新64位的才能用

三坛老窖

On_fire 发表于 2018-3-24 22:05
老师,

不好意思, 其实我是小白

你把这个API函数改成下面的试试
Private Declare PtrSafe Function hash Lib "ntdll.dll" Alias "RtlComputeCrc32" ( _
  ByVal start As Long, ByVal data As LongPtr, ByVal size As Long) As Long