ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 2007|回复: 8

请教高手一个数据处理方案,着急呀!

[复制链接]

TA的精华主题

TA的得分主题

发表于 2007-11-21 11:34 | 显示全部楼层 |阅读模式
高手们开法眼帮我看看一个数据处理方案!

我这里有30多个txt文件作为输入,要经过一系列处理(比如求平均值等),
最后要输出一个txt文件结果。现在问题是这30多个文件的数据量很大,
一共有大概200多万数据项,我用access存在一个表里,然后用VBA 和
SQL 语句处理,可是运行速度很慢,起码N个小时以上,(没仔细算过),
一旦出现bug,修改后要等一天才能看结果,搞得我很郁闷。

现在我能想到的办法有以下几个:
1. 优化Access (但是不知道会提速多少,而且我也不太会)
2. 改用其它数据库 MySQL, SQL server (但是我的系统是XP, 所以后者不行).
3. 用C++写程序进行处理  (我只会一些C++,其他语言不熟悉)。

不知道各位大大们,有没有好的建议。或者有其他好的解决方案。

thanks a looooooooooooooooooot.

TA的精华主题

TA的得分主题

发表于 2007-11-21 11:49 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2007-11-21 11:50 | 显示全部楼层
建议用SQL SERVER 或MYSQL ,200多万数据,ACCESS要吃紧了.

TA的精华主题

TA的得分主题

 楼主| 发表于 2007-11-21 12:02 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
代码太长了,估计大家看起来就烦。
回zheng版主:那末mySQL 用什末开发程序的环境呢? mySQL不熟悉,
所以不知道基于mySQL 用啥写程序。
还有个菜问题,mySQL 和access都是数据库,那末mySQL 在这个大数据
量的情况下优势在哪里呢?您估计如果用mySQL能提速多少呢?


谢谢两位的回复。

TA的精华主题

TA的得分主题

发表于 2007-11-21 12:10 | 显示全部楼层

TA的精华主题

TA的得分主题

发表于 2007-11-21 13:58 | 显示全部楼层
.....一共有大概200多万数据项......,是200万多条记录?200万多数据?你只能在算法上优化了。那么多的数据,就是全部做加法,估计时间也不少。

TA的精华主题

TA的得分主题

 楼主| 发表于 2007-11-21 15:14 | 显示全部楼层
对,是200多万records, 不是200万数据,20多个fields, 全部作平均。

TA的精华主题

TA的得分主题

发表于 2007-11-21 15:40 | 显示全部楼层
能不能上传access(里面放一部分数据),明确要进行什么样的运算。
[此贴子已经被作者于2007-11-21 15:41:24编辑过]

TA的精华主题

TA的得分主题

 楼主| 发表于 2007-11-21 15:45 | 显示全部楼层
算了,就不麻烦大家了,我自己解决吧,运算种类很繁杂。
程序也很长。

谢谢sgrshh29
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2025-1-16 03:01 , Processed in 0.029757 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表