提速，提取4000多个txt，耗时56.39秒，谢谢prome3、wanghan519、lxdexcel等诸位老师！

wanghan519

lhj323323 发表于 2024-2-10 19:36
谢谢老师指点

用什么来执行批处理？

需要去github下载ripgrep那个rg.exe，放到环境变量PATH里，然后大概这样，很多地方没考虑细节

gwjkkkkk

wanghan519 发表于 2024-2-10 20:08
需要去github下载ripgrep那个rg.exe，放到环境变量PATH里，然后大概这样，很多地方没考虑细节

学习了。。。

ykcbf1100

我找到一种方法，就是OpenTextFile法，速度还行，你可以参考一下。

prome3

ykcbf1100 发表于 2024-2-10 18:05
我用Workbooks.Open试了一下，发现速度比你自己的要慢得多，我这里要10多秒，而你的代码在我这里只要0.06秒 ...

我这边运行他的代码也只需要0.07秒。

lanjialing

我测试了一下，平台为Microsoft 1866平板，内在16G。只开浏览器和EXCEL2021的情况下，导入你提供的文件包用时为0.136秋。

prome3

看一楼截图，总文件大小 5.28 GB……文件数量众多，平均一个文件大小在 1 MB，估计代码的运行时间大部分都在文件读写上了。
为了尽可能模拟原始数据体量，我复制了一楼附件中最大的文本文件5000次，得到的总文件大小如下：

运行结果如下：


通过观察一楼的文本文件，我发现最近一天的数据都是从上午九点半到十一点半，下午一点到三点，共4个小时，每隔1分钟产生一条记录（一个文本行），总共240行；每行共8列，由7个制表符分开。我写的代码是根据这些观察结果来的，至于原始数据具体（确定的是）啥格式，估计只有生成原始数据的人知道了。

从代码运行速度的角度看，貌似我的代码达到了本贴的提速的目标。但我依旧十分怀疑是楼主电脑太慢了:)

gwjkkkkk

7楼应该有明显的提高

lhj323323

fzxba 发表于 2024-2-10 19:30

谢谢老师！

我把您写的如下这一段

1. For y = UBound(ar) - 2 To 1 Step -1 '倒着判断，这样速度可能有所提升，以下为猜测
   
2.      If Left(ar(y), 10) > Left(ar(y - 1), 10) Then '比上面的split 快点
   
3.          br = Split(ar(y), vbTab)
   
4.          For j = 0 To UBound(br)
   
5.               vResult(r, j) = br(j)

复制代码

改为，定位提取

1. 'For y = UBound(ar) - 2 To 1 Step -1 '倒着判断，这样速度可能有所提升，以下为猜测
   
2.       y = UBound(ar) - 240 - 1 '我用这一句，代替For...Next y
   
3.       If Left(ar(y), 10) > Left(ar(y - 1), 10) Then '比上面的split 快点
   
4.          br = Split(ar(y), vbTab)

复制代码

提取4415个txt，耗时由76秒( 历遍提取)，改成提升到58秒(定位提取)

飞天篮球猪

供参考...集算器解法...4510个文件可以跑进7秒电脑配置4C16G，利用4线程并行。

lhj323323

ykcbf1100 发表于 2024-2-10 21:00
我找到一种方法，就是OpenTextFile法，速度还行，你可以参考一下。

13楼的代码，比不了你之前提供的源码
4415个txt，耗时167秒