提速，提取4000多个txt，耗时56.39秒，谢谢prome3、wanghan519、lxdexcel等诸位老师！

lhj323323

由于受论坛限制，单个附件不得超过2M
只好不断减少附件到1.8M

提取规则，是每个txt里，【距今天最近的一天】的【第一分钟】的数据
即，一个txt，只占用excel的一行。
速度.rar (1.88 MB, 下载次数: 122)

2024-2-10 15:54 上传

点击文件名下载附件

老师如有空，请帮忙看看，还有没有提速的可能。
顺祝新年快乐！

wanghan519

把txt文件又复制粘贴了两次，共123个文件，用grep直接提取到csv文件，耗时0.07秒左右，如果加上获取倒数第一行第一列的日期再grep，则在0.1-0.2秒左右123个文件

用的是2019年的轻薄本，不足以玩任何大型游戏，在linux环境下rg处理123个文件耗时约0.015秒，算是目前我试出来最快的了

ykcbf1100

我用Workbooks.Open试了一下，发现速度比你自己的要慢得多，我这里要10多秒，而你的代码在我这里只要0.06秒，你还是用自己的代码吧。

附件你就参考一下吧。。。

lhj323323

ykcbf1100 发表于 2024-2-10 18:05
我用Workbooks.Open试了一下，发现速度比你自己的要慢得多，我这里要10多秒，而你的代码在我这里只要0.06秒 ...

谢谢老师回复！

我都把饭吃过了，程序还在运行

有没有如下这种可能，
某个路径内的若干txt，
我们看到的是一个一个独立的文档
而站在上帝视角
【它们整体】仍属一个相同格式的大文档中的不同的段落
只不过它们以【句号】作为分割标识
而我们按常规手法，就需要先解开【句号】，才能打开它。

而上帝视角，则不需要打开它。（这样就会节省很多【打开/关闭】这种步骤）

乱说一通，请别笑话

lhj323323

wanghan519 发表于 2024-2-10 17:36
把txt文件又复制粘贴了两次，共123个文件，用grep直接提取到csv文件，耗时0.07秒左右，如果加上获取倒数第 ...

老师：

2楼的代码，它与VBA是什么关系，是升级版吗？
这点，我不懂，还请告知。

闻启学

lhj323323 发表于 2024-2-10 18:58
老师：

2楼的代码，它与VBA是什么关系，是升级版吗？

二楼是bat 批处理方式

fzxba

1. Sub test3() '比你的电脑快，江哥换机吧
   
2.   Dim strFileName$, strPath$, n As Byte
   
3.   Dim vResult$(), ar, br, y&, x&, j&, r&
   
4.   Dim t As Single
   
5.   Application.ScreenUpdating = False
   
6.   t = Timer
   
7.   ReDim vResult(1 To 6000, 8)
   
8.   strPath = ThisWorkbook.Path & "\"
   
9.   strFileName = Dir(strPath & "*.txt")
   
10.   
    
11.   Do Until strFileName = ""
    
12.     n = FreeFile
    
13.     Open strPath & strFileName For Input As #n
    
14.     ar = Split(StrConv(InputB(LOF(n), #n), vbUnicode), vbCrLf)
    
15.     Close #n
    
16.     r = r + 1
    
17.     vResult(r, UBound(vResult, 2)) = Mid(strFileName, 4, 6)
    
18.     For y = UBound(ar) - 2 To 1 Step -1 '倒着判断，这样速度可能有所提升，以下为猜测
    
19.       'If Split(ar(y), vbTab)(0) > Split(ar(y - 1), vbTab)(0) Then
    
20.       If Left(ar(y), 10) > Left(ar(y - 1), 10) Then '比上面的split 快点
    
21.         br = Split(ar(y), vbTab)
    
22.         For j = 0 To UBound(br)
    
23.           vResult(r, j) = br(j)
    
24.         Next j
    
25.         Exit For '满足则退出循环
    
26.       End If
    
27.     Next y
    
28.     strFileName = Dir
    
29.   Loop
    
30.   With Sheets("Sheet1")
    
31.     .[a2].Resize(r, UBound(vResult, 2) + 1) = vResult
    
32.     .Range("K1") = Timer - t ' 输出时间
    
33.   End With
    
34.   Application.ScreenUpdating = True
    
35.   Beep
    
36. End Sub

复制代码

wanghan519

lhj323323 发表于 2024-2-10 18:58
老师：

2楼的代码，它与VBA是什么关系，是升级版吗？

是批处理方式，耗时比较少可以当成参考
vba可以调用批处理，再读取结果，速度也挺快
理论上vb可以很基础的处理文本，seek之类，应该可以更快，但我不太会。。。
rg是近年来火热的，用rust重写基础工具里，用来从大量文本里找内容的工具，貌似比grep还快，而过去grep一直作为批量处理大量文本的速度基准，rg比它还快，我也想不出写起来简单的、速度更快的处理大量文本的方式了

lhj323323

wanghan519 发表于 2024-2-10 19:33
是批处理方式，耗时比较少可以当成参考
vba可以调用批处理，再读取结果，速度也挺快
理论上vb可以很基 ...

谢谢老师指点

用什么来执行批处理？

lhj323323

闻启学 发表于 2024-2-10 18:59
二楼是bat 批处理方式

谢谢告知！