用ExcelVBA将多个列数不完全相同的文本文件或csv数据导入到access

TomingTang · 发表于 2014-4-23 11:46

大家好，请教一个问题，现在想把几十个csv格式的数据批量导入到access 2007中。因为工作表很多，而且每个工作表里面含有的数据量都在14万左右，如果手动把工作表数据复制在一起，速度会非常慢，而且还要分开好几个工作表才能把所有数据装完（总数据量应该有500万条）。从网上找到 [url=]zhaogang1960[/url]老师批量导入access的数据，详情见下面链接，可是我要汇总的csv工作表比较特殊，就是工作表中f1-j1的列标题在数据库中不是标准的字段名。请问怎么解决。

注意。 zhaogang1960老师的链接的代码是可以运行的，现在对于我这种特殊情况可以怎么处理。谢谢。

附件是我的文件，及[url=]zhaogang1960老师可以运行正常数据的代码，对于我的异常数据怎么处理。导入csv文件access联合查询后导入(csv文件非连接状态).zip (27.96 KB, 下载次数: 47)

2014-4-23 11:46 上传
点击文件名下载附件

[/url]

TomingTang · 发表于 2014-4-23 16:04

没有人可以帮忙处理一下吗？现在我已经可以利用VBA编程批量把不符合规范的csv工作簿里面的字段名批量修改成符合数据库要求的格式。虽然办法很笨。后面利用zhaogang老师的批量导入csv到access的代码批量导入进去。现在求一步到位的方法，谢谢！

zhaogang1960 · 发表于 2014-4-23 17:52

使用字段别名，以Access为准同一字段名：

Sub 联合查询后导入() '引用Microsoft ActiveX Data Objects 2.x Library
Dim cnn As New ADODB.Connection
Dim myPath$, MyFile$, SQL$, s$
s = "客户代码,处理号,订单号,服务类型,处理点,[重量(g)] as 重量,[长度(cm)] as 长度,[宽度(cm)] as 宽度,[高度(cm)] as 高度,[体积(cm^3)] as 体积,国家,省,城市,创建时间,完成时间"
cnn.Open "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & ThisWorkbook.Path & "\expackage.mdb" '连接数据库
myPath = ThisWorkbook.Path & ""
MyFile = Dir(myPath & "*.csv")
Do While MyFile <> "" '创建多个文本文件的联合查询
If Len(SQL) Then
SQL = SQL & " union all select " & s & " from [Text;FMT=Delimited;HDR=Yes;DATABASE=" & myPath & ";].[" & MyFile & "]"
Else
SQL = "select " & s & " from [Text;FMT=Delimited;HDR=Yes;DATABASE=" & myPath & ";].[" & MyFile & "]"
End If
MyFile = Dir()
Loop
SQL = "insert into 成绩单 select * from (" & SQL & ")" '向access数据表中添加数据语句
cnn.Execute SQL
MsgBox "已经成功将文本文件数据保存为数据库！", vbInformation
cnn.Close
Set cnn = Nothing
End Sub

复制代码

zhaogang1960 · 发表于 2014-4-23 17:54

请测试附件

导入csv文件access联合查询后导入(csv文件非连接状态).rar (25.29 KB, 下载次数: 92)

TomingTang · 发表于 2014-4-24 10:44

zhaogang1960 发表于 2014-4-23 17:54
请测试附件

非常感谢zhaogang1960老师，程序完美解决。使用别名完整解决问题。另外还发现，使用别名还可以解决导入csv表中指定的列，美妙啊。再次感谢zhaogang1960老师。

TomingTang · 发表于 2014-4-24 15:46

zhaogang1960 发表于 2014-4-23 17:52
使用字段别名，以Access为准同一字段名：

zhaogang1960老师，再问一个问题，你的代码可以完美运行，可是我批量导入后200万条数据总120条最后两列时间的数据竟然是空的。我查看相应的工作簿实际并不是空的，后面对比空的数据的规律，发现大部分空的在“省”那一字段有“""”英文双引号出现后后面的字段列都为空。这是什么情况。接着为了测试我的猜测，我把部分有双引号的的数据专门测试，可是导入结果却有没有问题。这是什么情况尼？求解。谢谢。附件，添加了相应有""双引号的数据。
[img][/img]

TomingTang · 发表于 2014-4-24 15:49

zhaogang1960 发表于 2014-4-23 17:52
使用字段别名，以Access为准同一字段名：

zhaogang1960老师，再问一个问题，你的代码可以完美运行，可是我批量导入后200万条数据总120条最后两列时间的数据竟然是空的。我查看相应的工作簿实际并不是空的，后面对比空的数据的规律，发现大部分空的在“省”那一字段有“""”英文双引号出现后后面的字段列都为空。这是什么情况。接着为了测试我的猜测，我把部分有双引号的的数据专门测试，可是导入结果却有没有问题。这是什么情况尼？求解。谢谢。附件，添加了相应有""双引号的数据。
[img][/img]

TomingTang · 发表于 2014-4-24 15:51

TomingTang 发表于 2014-4-24 15:49
zhaogang1960老师，再问一个问题，你的代码可以完美运行，可是我批量导入后200万条数据总120条最后两列时 ...

漏了最新附件，请查看

导入csv文件access联合查询后导入(csv文件非连接状态)-使用别名.zip (31.29 KB, 下载次数: 14)

zhaogang1960 · 发表于 2014-4-24 16:09

用format格式化一下试试看：

Sub 联合查询后导入() '引用Microsoft ActiveX Data Objects 2.x Library
Dim cnn As New ADODB.Connection
Dim myPath$, MyFile$, SQL$, s$
s = "客户代码,处理号,订单号,服务类型,处理点,[重量(g)] as 重量,[长度(cm)] as 长度,[宽度(cm)] as 宽度,[高度(cm)] as 高度,[体积(cm^3)] as 体积,国家,省,城市,format(创建时间,'yyyy-m-d') as 创建时间,format(完成时间,'yyyy-m-d') as 完成时间"
cnn.Open "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & ThisWorkbook.Path & "\expackage.mdb" '连接数据库
myPath = ThisWorkbook.Path & ""
MyFile = Dir(myPath & "*.csv")
Do While MyFile <> "" '创建多个文本文件的联合查询
If Len(SQL) Then
SQL = SQL & " union all select " & s & " from [Text;FMT=Delimited;imex=1;HDR=Yes;DATABASE=" & myPath & ";].[" & MyFile & "]"
Else
SQL = "select " & s & " from [Text;FMT=Delimited;imex=1;HDR=Yes;DATABASE=" & myPath & ";].[" & MyFile & "]"
End If
MyFile = Dir()
Loop
SQL = "insert into expackage select * from (" & SQL & ")" '向access数据表中添加数据语句
cnn.Execute SQL
MsgBox "已经成功将文本文件数据保存为数据库！", vbInformation
cnn.Close
Set cnn = Nothing
End Sub

复制代码

zhaogang1960 · 发表于 2014-4-24 16:11

省字段没有发现问题，加一个参数imex=1试试
请看附件

导入csv文件access联合查询后导入(csv文件非连接状态)-使用别名.rar (27.87 KB, 下载次数: 46)

		自动登录	找回密码
密码			免费注册

[求助] 用ExcelVBA将多个列数不完全相同的文本文件或csv数据导入到access

评分