ADO将百万行Excel数据快速上传到MSSQL或MySQL数据库中仅需几十秒

opiona · 发表于 2024-5-15 00:01

本帖最后由 opiona 于 2024-5-15 12:01 编辑

jygzcj 发表于 2024-5-14 22:13
自己实验的，好像速度也不是很快。
static void Main(string[] args)
{

            conn.Open();
            bulkCopy.DestinationTableName = "userlist";
            bulkCopy.WriteToServer(dt);

你获取数据也是需要时间的
这一段单拿出来  看看耗时

lilue · 发表于 2024-9-24 00:35

opiona 发表于 2023-8-27 20:01
一般保存方式没有SQL之外的快速方法

老师，将excel的数据写入到access的话，直接用传统的insert into配合循环构成sql语句写入这样的话速度咋样啊？特别是在一次性写入几万行的时候。

fitfoot · 发表于 2024-9-24 08:25

不用DLL的话提供两个思路,以下是mysql的,其他数据库类似:
1.EXCEL数据读取到数组(也可以用adodb+sql直接读取EXCEL,无需显示打开),组合成sql语句,一次性执行.mysql支持"INSERT INTO FIELDS() VALUES(),(),(),....."这样的语法,这里可以分段,组合太多可能会降低效率,或者传输的字符串太大,会需要额外参数设置;
2.数据处理方法相同,sql语句用"SQL1;SQL2;SQL3....."这样的方式组合成字符串,一次性Execute,这种语法不局限insert into,可以是select,update等组合,效率也一样.这里需要增加ConnectionString字符串的一个连接属性"MULTI_STATEMENTS=67108864"
ACCESS的话直接用adodb打开一个recodeset,用addnew方法循环,应该就很快,关键是把EXCEL数据先转到数组,用数组处理数据.

huashengtang · 发表于 2024-9-29 06:25

感谢楼主无私分享！

huiyuxuan · 发表于 2024-9-29 11:52

谢谢高手分享，mark学习

opiona · 发表于 2024-9-29 23:35

DLL插件ExcelToSQL函数示例-20240929-2300.rar (1.3 MB, 下载次数: 12)

有效期到: 2025-07-31

		自动登录	找回密码
密码			免费注册

[分享] ADO将百万行Excel数据快速上传到MSSQL或MySQL数据库中 仅需几十秒

[分享] ADO将百万行Excel数据快速上传到MSSQL或MySQL数据库中仅需几十秒