excel sql无法读取和计算csv文件

XUZHANCHENG

我有一批csv文件，需要将其中一些字段汇总，之前做excel数据用excelsql读取汇总都没有问题，可是csv文件无法读取和汇总，求助，如何读取汇总数据

比如附件中汇总“金额”列

多谢

XUZHANCHENG

我的想法是是否如excel那样，可以将excel的文件做为数据库，直接读取。但我无法读取成功

zhaogang1960

请参考:

1. Sub ADO联合查询()
   
2.     Dim cnn As Object, rs As Object, SQL$, i&, myPath$, MyFile$
   
3.     myPath = ThisWorkbook.Path & ""
   
4.     Set cnn = CreateObject("adodb.connection")
   
5.     cnn.Open ConnectionString:="Provider=MSDASQL;Driver={Microsoft Text Driver (*.txt; *.csv)};DBQ=" & ThisWorkbook.Path
   
6. '    cnn.Open "Provider=Microsoft.Jet.OLEDB.4.0;Extended Properties='text;FMT=DELIMITED';Data Source=" & ThisWorkbook.Path'或
   
7.     MyFile = Dir(myPath & "*.csv")
   
8.     Do While MyFile <> ""
   
9.         If SQL = "" Then SQL = "select * from " & MyFile Else SQL = SQL & " union all select * from " & MyFile
   
10.         MyFile = Dir()
    
11.     Loop
    
12. '    SQL = "select p_Code,NameID,AddessID,sum(金额) as 金额合计 from (" & SQL & ") group by p_Code,NameID,AddessID"'汇总金额
    
13.     Set rs = cnn.Execute(SQL)
    
14.     Cells.ClearContents
    
15.     For i = 1 To rs.Fields.Count
    
16.         Cells(1, i) = rs.Fields(i - 1).Name
    
17.     Next
    
18.     [a2].CopyFromRecordset rs
    
19.     rs.Close
    
20.     cnn.Close
    
21.     Set rs = Nothing
    
22.     Set cnn = Nothing
    
23. End Sub
    

复制代码

jingooluo

XUZHANCHENG 发表于 2015-12-22 17:06
我的想法是是否如excel那样，可以将excel的文件做为数据库，直接读取。但我无法读取成功

是因为做成数据库后读取汇总速度会比VBA直接读取CSV数据汇总快才这样考虑吗？

zhaogang1960

请注意，ADO联合查询要求文件数不超过49个
请测试附件
Test1.rar (59.22 KB, 下载次数: 106)

2015-12-22 17:19 上传

点击文件名下载附件

jingooluo

zhaogang1960 发表于 2015-12-22 17:19
请注意，ADO联合查询要求文件数不超过49个
请测试附件

请问老师，如果需要查询汇总的CSV文件数有几千个甚至上万个，有没有什么快速的运行方法？我用逐个运行的方式非常的慢。

zhaogang1960

jingooluo 发表于 2015-12-22 17:31
请问老师，如果需要查询汇总的CSV文件数有几千个甚至上万个，有没有什么快速的运行方法？我用逐个运行的 ...

每49个一组联合查询，当然这样也不一定比单个速度快，建议用ADO+数组，或Open方法打开文本文件的方法+数组处理
请上传附件和要求的效果

XUZHANCHENG

jingooluo 发表于 2015-12-22 17:18
是因为做成数据库后读取汇总速度会比VBA直接读取CSV数据汇总快才这样考虑吗？

是的，因为每个csv都是几十万行数据，打开需要很久很久很久

XUZHANCHENG

jingooluo 发表于 2015-12-22 17:18
是因为做成数据库后读取汇总速度会比VBA直接读取CSV数据汇总快才这样考虑吗？

因为每个csv文件几十万行

XUZHANCHENG

zhaogang1960 发表于 2015-12-22 17:19
请注意，ADO联合查询要求文件数不超过49个
请测试附件

多谢您，我试试