excel sql无法读取和计算csv文件

jingooluo

zhaogang1960 发表于 2015-12-23 00:03
我前面说法有误，不是Open方法，是Open 语句：
Open myPath & MyFile For Input As #1
MyFile 是csv文 ...

就是application.workbooks.open()的语句吗，因为我目前就是用这个。另外，我自己测试了一下，仅仅是打开读取文件中的某个单元格的数据到汇总表这样的操作，当文件有1000个的时候就需要2分多钟，如果要遍历打开的文件的数据，并且要做一些判断的话，时间更长。我目前程序要读取几千个文件，并且都需要遍历和判断，速度相当的慢，而且当操作其他东西的时候程序很容易就中断了。

zhaogang1960

jingooluo 发表于 2015-12-23 09:35
就是application.workbooks.open()的语句吗，因为我目前就是用这个。另外，我自己测试了一下，仅仅是打开 ...

workbooks.open是Open 方法，速度比Open 语句慢很多

jingooluo

zhaogang1960 发表于 2015-12-23 00:03
我前面说法有误，不是Open方法，是Open 语句：
Open myPath & MyFile For Input As #1
MyFile 是csv文 ...

赵版能详细解释一下open语句吗，我尝试了一下，open语句似乎并不是真正打开文件，但是当再次运行该语句时又提示文件已经打开。不知道怎么引用该文件的内容。另外在循环体中用这个语句打开文件时，其参数filenumber的值是不是要随循环体增加呢，在网上看到这个参数的最大值为511，如果要打开的文件超过511是否就溢出了呢。

excelhomesnake

jingooluo 发表于 2015-12-23 14:38
赵版能详细解释一下open语句吗，我尝试了一下，open语句似乎并不是真正打开文件，但是当再次运行该语句时 ...

原来你说的open是直接打开工作簿,怪不得说慢.其实vba的open方式是以流的方式读取数据.前提是,你要处理的文件是类似于文本文档.如果是xlsx,可以通过解压读取xml文档结构.你所说的已经打开,是因为vba每次使用都会以一个句柄代表占用的文件.好像是#number,你要在适当的时候释放它,让它继续用在下一个文件上.

jingooluo

excelhomesnake 发表于 2015-12-23 14:53
原来你说的open是直接打开工作簿,怪不得说慢.其实vba的open方式是以流的方式读取数据.前提是,你要处理的 ...

非常感谢你的解答，但是由于我原来一直没有接触过这种处理方式，对你说的还是不明白，举个例子：我的程序要逐个打开2000个csv文件并且读取里面的数据，我按赵版提醒在循环体（遍历所有文件名）中添加“open full_name for input as #i” 语句。然后就不知道要怎么读取相应的数据了，因为文件没有实际打开，不知道怎么引用。另外这个#filenumber要如何释放呢？

zhaogang1960

excelhomesnake 发表于 2015-12-23 14:53
原来你说的open是直接打开工作簿,怪不得说慢.其实vba的open方式是以流的方式读取数据.前提是,你要处理的 ...

以本题目为例，读取多个csv文件：

1. Sub Open语句()
   
2. tt = Timer
   
3.     Dim p$, f$, s$(), a, arr(1 To 600000, 0 To 4), i&, j&, m&, n&, v&
   
4.     p = ThisWorkbook.Path & ""
   
5.     f = Dir(p & "*.csv")
   
6.     While f > ""
   
7.         v = v + 1
   
8.         Open p & f For Input As #1
   
9.         s = Split(StrConv(InputB(LOF(1), 1), vbUnicode), vbCrLf)
   
10.         Close #1
    
11.         If v = 1 Then f = 0 Else f = 1
    
12.         For i = f To UBound(s) - 1
    
13.             m = m + 1
    
14.             a = Split(s(i), ",")
    
15.             For j = 0 To 3
    
16.                 arr(m, j) = a(j)
    
17.             Next
    
18.         Next
    
19.         f = Dir()
    
20.     Wend
    
21.     Cells.ClearContents
    
22.     [a1].Resize(m, 4) = arr
    
23.     MsgBox Timer - tt
    
24. End Sub
    
25. 
    

复制代码

zhaogang1960

下面附件中有49个csv文件，有ADO联合查询和Open语句两种代码，后者速度比前者快很多:

Test1.rar (145.2 KB, 下载次数: 74)

2015-12-23 15:54 上传

点击文件名下载附件

jingooluo

zhaogang1960 发表于 2015-12-23 15:55
下面附件中有49个csv文件，有ADO联合查询和Open语句两种代码，后者速度比前者快很多:

非常感谢，赶紧收藏了慢慢研究。

nkgsm

这么大的数据量，应该考虑用数据库处理，只要是excel动用SQL查询，都要偏历源数据，源数据越大，时间越长，所以自然就慢。

jingooluo

zhaogang1960 发表于 2015-12-23 15:55
下面附件中有49个csv文件，有ADO联合查询和Open语句两种代码，后者速度比前者快很多:

赵版你好，我发现用open语句以及s = Split(StrConv(InputB(LOF(1), 1), vbUnicode), vbCrLf)读取数据的时候，有些文件不能读取，同样都是csv文件，格式也都一样，我自己核对过也没发现两个文件有什么不同。