批量导入多个CSV文件到SQL数据库代码出错，求高手帮忙修改。

chengsijing

opiona 发表于 2023-1-5 23:06
只用一次  就不用这么麻烦了   
直接数据库管理软件 Navicat等: 导入CSV

能否帮我看一下，我的这个代码，相关文件都传到6楼了。这个代码实现xls/xlsx格式的没有问题，但不支持CSV。就改ADO文件语句即可。

1. Const dizhi As String = "D:\test"    '这个路径名最后一定要有一个反斜杠 "\,如果文档目录有改变，这里需要改变"
   
2. 'Const geshiC As String = ".xls"   '（如果是2007版，则后缀名改为 *.xlsx）
   
3. 
   
4. Const geshiC As String = ".csv"
   
5. 
   
6. '用的是本地的代码，操作的是本地的CSV文件，链接的是本地的数据库. 只是CSV数据太大，有的100万条一个文件，而且多个，CSV表格式都是一样的，想把数据都汇总到SQL一个表里。感觉用数组会很慢，想直接用数据库方式插入速度会好一些
   
7. Sub 批量导入文件到sql()
   
8.     '这个写法如果是xls/xlsx格式的没有问题，两个xls表可以导入，但是改成csv格式文件的，则提示：Error -2147467259（外部表不是预期的格式。），我其实要批量导入的是csv格式的文件。
   
9.    
   
10. #If ProjectStatus = "DEV" Then
    
11.     Dim cn As ADODB.Connection
    
12. 
    
13. #Else ' assume PROD
    
14.     Dim cn As Object
    
15.     Set cn = CreateObject("ADODB.Connection")
    
16. #End If
    
17.     Dim strSQL As String
    
18.     Dim strConn As String
    
19.     Dim path As String, fnTemp As String
    
20.     Dim FileCount As Integer
    
21.     Dim start As Double
    
22.     start = Timer()   '计算这个程序运行时间。
    
23.    
    
24.     On Error GoTo test_Error
    
25.    
    
26.    
    
27.     Dim fn, fp
    
28.     '关闭屏幕刷新
    
29.     Application.ScreenUpdating = False
    
30.       
    
31.    
    
32.     fp = dizhi
    
33.     'fp = ThisWorkbook.path
    
34.    
    
35.     fn = Dir(fp & "*" & geshiC) '取得第一个工作簿的文件名
    
36. 
    
37. 
    
38.     FileCount = 0
    
39.     Do While fn <> ""
    
40.         Headers = True
    
41. 
    
42.    
    
43.         path = fp & fn
    
44.         fnTemp = Replace(fn, geshiC, "")
    
45.         strConn = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & path & ";" & "Extended Properties=""Excel 12.0; IMEX=1;HDR=YES"""    '这条语句支持xls/xlsx格式文件，不支持CSV格式
    
46.         Debug.Print strConn
    
47.       
    
48.         cn.Open strConn
    
49.          
    
50.         
    
51.         strSQL = "Insert INTO [odbc;Driver={SQL Server};" & _
    
52.                  "Server=.;Database=test;" & _
    
53.                  "UID=sa;PWD=sa].test Select 字段一,字段二,字段三,字段四,字段五,字段六 FROM [" & fnTemp & "$] "
    
54.         
    
55.         'Debug.Print strSQL
    
56.         cn.Execute strSQL
    
57. 
    
58.         FileCount = FileCount + 1
    
59.         fn = Dir() '取得下一个工作簿的文件名
    
60.         cn.Close
    
61.    
    
62.     Loop '循环
    
63.     Set cn = Nothing
    
64. 
    
65.    '打开屏幕刷新
    
66.     Application.ScreenUpdating = True
    
67.     fenzhong = Int(Format(Timer - start, "0.00") / 60)
    
68.     MsgBox "程序运行时间约是 " & fenzhong & " 分钟.导入" & FileCount & "CSV文件"
    
69.     On Error GoTo 0
    
70.     Exit Sub
    
71.      
    
72. test_Error:
    
73.      
    
74.     MsgBox "strSQL＝" & strSQL & Chr(10) & " Error " & Err.Number & " (" & Err.Description & ")  " & Chr(13) & " fnTemp=" & fnTemp & Chr(13) & "path=" & path & Chr(13) & "strConn=" & strConn
    
75.      
    
76. End Sub

复制代码

ddmc

用 bulk insert

bulk insert YYY --数据库表
from  N'd:/c1.csv'  -- txt文本
WITH(
FIELDTERMINATOR = ',', --字段分割符
ROWTERMINATOR = '\n',  --数据行分割符
DATAFILETYPE ='char',  --数据宽度
KEEPNULLS
)


https://www.cnblogs.com/yclizq/p/12154609.html
https://blog.csdn.net/catchme_439/article/details/78538910

在 CODEPAGE参数 代码页
这个有点坑，sql有些版本 不支持 ut8导入，看sql服务器有没有sql的补丁，得自己查

chengsijing

ddmc 发表于 2023-1-7 05:19
用 bulk insert

bulk insert YYY --数据库表

十分感谢，我试试