提速，提取4000多个txt，耗时56.39秒，谢谢prome3、wanghan519、lxdexcel等诸位老师！

lhj323323 · 发表于 2024-2-10 15:55

本帖最后由 lhj323323 于 2024-2-13 19:19 编辑

由于受论坛限制，单个附件不得超过2M
只好不断减少附件到1.8M

提取规则，是每个txt里，【距今天最近的一天】的【第一分钟】的数据
即，一个txt，只占用excel的一行。

速度.rar (1.88 MB, 下载次数: 122)

快照8.png

老师如有空，请帮忙看看，还有没有提速的可能。
顺祝新年快乐！

wanghan519 · 发表于 2024-2-10 17:36

本帖最后由 wanghan519 于 2024-2-10 17:46 编辑

把txt文件又复制粘贴了两次，共123个文件，用grep直接提取到csv文件，耗时0.07秒左右，如果加上获取倒数第一行第一列的日期再grep，则在0.1-0.2秒左右123个文件
批注 2024-02-10 173218.jpg

用的是2019年的轻薄本，不足以玩任何大型游戏，在linux环境下rg处理123个文件耗时约0.015秒，算是目前我试出来最快的了

ykcbf1100 · 发表于 2024-2-10 18:05

本帖最后由 ykcbf1100 于 2024-2-10 18:26 编辑

我用Workbooks.Open试了一下，发现速度比你自己的要慢得多，我这里要10多秒，而你的代码在我这里只要0.06秒，你还是用自己的代码吧。

附件你就参考一下吧。。。

lhj323323 · 发表于 2024-2-10 18:57

ykcbf1100 发表于 2024-2-10 18:05
我用Workbooks.Open试了一下，发现速度比你自己的要慢得多，我这里要10多秒，而你的代码在我这里只要0.06秒 ...

谢谢老师回复！

我都把饭吃过了，程序还在运行

有没有如下这种可能，
某个路径内的若干txt，
我们看到的是一个一个独立的文档
而站在上帝视角
【它们整体】仍属一个相同格式的大文档中的不同的段落
只不过它们以【句号】作为分割标识
而我们按常规手法，就需要先解开【句号】，才能打开它。

而上帝视角，则不需要打开它。（这样就会节省很多【打开/关闭】这种步骤）

乱说一通，请别笑话

lhj323323 · 发表于 2024-2-10 18:58

wanghan519 发表于 2024-2-10 17:36
把txt文件又复制粘贴了两次，共123个文件，用grep直接提取到csv文件，耗时0.07秒左右，如果加上获取倒数第 ...

老师：

2楼的代码，它与VBA是什么关系，是升级版吗？
这点，我不懂，还请告知。

闻启学 · 发表于 2024-2-10 18:59

lhj323323 发表于 2024-2-10 18:58
老师：

2楼的代码，它与VBA是什么关系，是升级版吗？

二楼是bat 批处理方式

fzxba · 发表于 2024-2-10 19:30

Sub test3() '比你的电脑快，江哥换机吧
Dim strFileName$, strPath$, n As Byte
Dim vResult$(), ar, br, y&, x&, j&, r&
Dim t As Single
Application.ScreenUpdating = False
t = Timer
ReDim vResult(1 To 6000, 8)
strPath = ThisWorkbook.Path & "\"
strFileName = Dir(strPath & "*.txt")
Do Until strFileName = ""
n = FreeFile
Open strPath & strFileName For Input As #n
ar = Split(StrConv(InputB(LOF(n), #n), vbUnicode), vbCrLf)
Close #n
r = r + 1
vResult(r, UBound(vResult, 2)) = Mid(strFileName, 4, 6)
For y = UBound(ar) - 2 To 1 Step -1 '倒着判断，这样速度可能有所提升，以下为猜测
'If Split(ar(y), vbTab)(0) > Split(ar(y - 1), vbTab)(0) Then
If Left(ar(y), 10) > Left(ar(y - 1), 10) Then '比上面的split 快点
br = Split(ar(y), vbTab)
For j = 0 To UBound(br)
vResult(r, j) = br(j)
Next j
Exit For '满足则退出循环
End If
Next y
strFileName = Dir
Loop
With Sheets("Sheet1")
.[a2].Resize(r, UBound(vResult, 2) + 1) = vResult
.Range("K1") = Timer - t ' 输出时间
End With
Application.ScreenUpdating = True
Beep
End Sub

复制代码

wanghan519 · 发表于 2024-2-10 19:33

lhj323323 发表于 2024-2-10 18:58
老师：

2楼的代码，它与VBA是什么关系，是升级版吗？

是批处理方式，耗时比较少可以当成参考
vba可以调用批处理，再读取结果，速度也挺快
理论上vb可以很基础的处理文本，seek之类，应该可以更快，但我不太会。。。
rg是近年来火热的，用rust重写基础工具里，用来从大量文本里找内容的工具，貌似比grep还快，而过去grep一直作为批量处理大量文本的速度基准，rg比它还快，我也想不出写起来简单的、速度更快的处理大量文本的方式了

lhj323323 · 发表于 2024-2-10 19:36

wanghan519 发表于 2024-2-10 19:33
是批处理方式，耗时比较少可以当成参考
vba可以调用批处理，再读取结果，速度也挺快
理论上vb可以很基 ...

谢谢老师指点

用什么来执行批处理？

lhj323323 · 发表于 2024-2-10 19:37

闻启学发表于 2024-2-10 18:59
二楼是bat 批处理方式

谢谢告知！

		自动登录	找回密码
密码			免费注册

[已解决] 提速，提取4000多个txt，耗时56.39秒，谢谢prome3、wanghan519、lxdexcel等诸位老师！

评分

评分