ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 449|回复: 3

[求助] 多个CSV文件数据怎么批量导入到SQL数据库表

[复制链接]

TA的精华主题

TA的得分主题

发表于 2022-12-18 16:53 | 显示全部楼层 |阅读模式
单个csv文件数据数量都很大,大概三十多条数据一个文件。而且要判断第一行,这行往往是广告,要删除。
用VBA怎么实现代码? 看哪个高手能指点一下  ,附件为样式文件,其它文件格式都一样,只是数据量很大,三十多万条数据一个文件
控件.png
控件.png
QQ图片20161104183800.png
QQ图片20161104183800.png

2007-01-24 30min.zip

215.7 KB, 下载次数: 4

TA的精华主题

TA的得分主题

发表于 2022-12-18 18:22 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
读取到数组再导入到sql,可能不是很快

TA的精华主题

TA的得分主题

发表于 2022-12-18 19:25 | 显示全部楼层
将csv整理成标准的 标题在第一行的样子
用vba 获取到数组 或直接导入csv到数据库
参考437楼
https://club.excelhome.net/thread-859194-1-1.html

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-1-5 03:55 | 显示全部楼层
[广告] Excel易用宝 - 提升Excel的操作效率 · Excel / WPS表格插件       ★免费下载 ★       ★ 使用帮助
首先说谢谢回复, 我要的不是那个。
我的CSV格式数据很大,大概10万条一个文件,近100个CSV文件,如果用数组的话怕很慢。
我已经写了xls/xlsx格式的可以批量导入SQL数据库,但是那段代码只支持xls/xlsx格式的,如果转成xls/xlsx格式,行数不够,我只能用CSV格式批量导入到SQL。我的CSV文件格式都是标准的,标题都在第一行。我的诉求就是怎么修改我的代码,快速批量的导入CSV格式批量导入到SQL。看那个高手能修改一下我的ADO代码。代码如下:
Sub 批量导入xls文件到sql()
   
#If ProjectStatus = "DEV" Then
    ' needs reference for Microsoft ActiveX Data Objects
    Dim cn As ADODB.Connection
'    Dim fld As ADODB.Field
'    Dim rs As ADODB.Recordset
'    Set cn = New ADODB.Connection
'    Set rs = New ADODB.Recordset
#Else ' assume PROD
'    Const adCmdText As Long = 1
'    Const adLockReadOnly As Long = 1
'    Const adOpenForwardOnly As Long = 0
    Dim cn As Object
'    Dim fld As Object
'    Dim rs As Object
    Set cn = CreateObject("ADODB.Connection")
'    Set rs = CreateObject("ADODB.Recordset")
#End If
Const dizhi As String = "D:\数据\"    '这个路径名最后一定要有一个反斜杠 "\"

Const geshiC As String = ".csv"   '(如果是2007版,则后缀名请改为 *.xlsx)

Const geshiX As String = ".xlsx"   '(如果是2007版,则后缀名请改为 *.xlsx)

    Dim strSQL As String
    Dim lngRecsAff As Long
    Dim Headers As Boolean
    Dim strConn As String
    Dim path As String, fnTemp As String
   
    Dim start As Double
    start = Timer()   '计算这个程序运行时间。
   
    On Error GoTo test_Error
   
    Dim Wb As Workbook
   
    Dim ws As Worksheet
   
    Dim fn, fp
    '关闭屏幕刷新
    Application.ScreenUpdating = False
      
   
    fp = dizhi
   
    fn = Dir(fp & "*" & geshiX) '取得第一个工作簿的文件名
    'MsgBox "文件:" & fn
    Dim wenjianming, wenjishuzu
    wenjianming = ""
    Do While fn <> ""
        Headers = True

        wenjishuzu = Split(fn)   '文件名默认中间空格隔开
        wenjianming = wenjishuzu(UBound(wenjishuzu))  '空格后面内容
        wenjianming = LCase(Replace(wenjianming, geshiX, ""))  '去掉格式后缀并小写,得到其中区别,这里是数据库表名
   
        path = fp & fn
        fnTemp = Replace(fn, geshiX, "")
        strConn = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & path & ";" & "Extended Properties=""Excel 8.0; IMEX=1;HDR=YES"""    '这条语句支持xls/xlsx格式文件,不支持CSV格式
        Debug.Print strConn
      
        cn.Open strConn
         
        
        strSQL = "Insert INTO [odbc;Driver={SQL Server};" & _
                 "Server=.;Database=数据库名;" & _
                 "UID=用户名;PWD=密码]." & wenjianming & " Select 字段一,字段二,字段三,字段四,字段五,字段六 FROM [" & fnTemp & "$] "

        
        Debug.Print strSQL
        cn.Execute strSQL, lngRecsAff
        Debug.Print "Records affected: " & lngRecsAff
     
        fn = Dir() '取得下一个工作簿的文件名
        cn.Close
   
    Loop '循环
    Set cn = Nothing

   '打开屏幕刷新
    Application.ScreenUpdating = True
    fenzhong = Int(Format(Timer - start, "0.00") / 60)
    MsgBox "程序运行时间约是 " & fenzhong & " 分钟."
    On Error GoTo 0
    Exit Sub
     
test_Error:
     
    MsgBox "strSQL=" & strSQL & Chr(10) & " Error " & Err.Number & " (" & Err.Description & ") in procedure test of VBA Document ThisWorkbook"
     
End Sub

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-19 22:34 , Processed in 0.041717 second(s), 10 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表