数月以来关于数据透视表的疑惑！急切……

飞想 · 发表于 2009-10-11 22:06

各位朋友好：
我在一家比较大型的金融公司工作，我们公司的数据库比较完备，可以方便地从数据库中导出大量数据，数据都是以月度为单位进行整理的，每一个月的数据就有4万条以上；
我要做分析，需要用到几个月的数据甚至是1-2年的月度数据，如果是用数据透视表，那需要透视10-20次，是一个相当繁琐的事情，然而要将数据合并起来透视，由于数据量巨大（一年的数据大概有30M），处理起来十分缓慢，
我尝试过将这30M数据存在一个EXCEL工作簿里，然后定义一个ODBC DNS,然后由数据透视表去做，但是依然及其缓慢！

各位大大，有什么解决方法呢？

[ 本帖最后由飞想于 2009-10-11 22:16 编辑 ]

bqs · 发表于 2009-10-11 22:36

用Office2007吧，另外，不是一年的数据可以放到两个工作表中。这样透视应该没有什么问题，一次透视就可以了。不过你们的数据这么大，可以在数据库上进行二次开发给实现你们内部需要的报表数据吧。

飞想 · 发表于 2009-10-13 21:59

楼上的回答好像没有解决问题
我现在已经是用的2007了，这个不是行数限制的问题
不可能把超过30M的数据放在1个表当中吧，这样1G的内存能处理吗？
卡死了

kkitt · 发表于 2009-10-13 22:07

直接在数据库上处理就行了，为什么一定要用透视表呢？

飞想 · 发表于 2009-10-17 11:40

原帖由 kkitt 于 2009-10-13 22:07 发表
直接在数据库上处理就行了，为什么一定要用透视表呢？

楼上的兄台能否进一步给点儿明确的提示……
谢谢！

chncwk · 发表于 2009-10-19 08:28

4万条也算中型数据库了，应该上数据库了。

countryboy · 发表于 2009-10-19 22:10

ACCESS中也有数据透视表，建议将结果生成数据透视表后复制到EXCEL中使用。

Tina0tina · 发表于 2009-10-21 15:37

数据量大时透视表不可能快的。建议先将源数据进行筛选，用较少的数据进行分析。

fghgao · 发表于 2009-10-21 16:48

使用Excel碰到巨量的数据十分缓慢是因为Excel将所有的数据都常驻当内存当中，因而操作的时候会造成计算机运行速度特别慢。

建议将数据导入到Acess数据库当中，再用Excel的数据透视表进行处理。由于Acess的数据都不是常驻内存的，所以速度方面没有问题。Excel的数据透视表可以处理上百万行的数据，这种上百万行的数据肯定是储存在外部数据库当中的，要不然速度肯定达不到。

建议：
1 学习如何将数据导入到Acess当中，
2 学习Excel数据透视表如何使用外部数据源。

另外可以将你的所有数据都放到一个Excel文件当中，储存在硬盘上，然后新建一个文件，采用Excel数据透视表，把储存数据的文件当成外部数据源，这样速度应该不是问题。

[ 本帖最后由 fghgao 于 2009-10-27 16:56 编辑 ]

飞想 · 发表于 2009-10-27 21:33

原帖由 fghgao 于 2009-10-21 16:48 发表
使用Excel碰到巨量的数据十分缓慢是因为Excel将所有的数据都常驻当内存当中，因而操作的时候会造成计算机运行速度特别慢。

建议将数据导入到Acess数据库当中，再用Excel的数据透视表进行处理。由于Acess的数据都不 ...

感谢您的建议，我尝试过用一个EXCEL存储好数据，然后再去访问这个数据源，可是一样的特别慢，实在没辙了
能否给点儿资料啥的？
求求各位达人了！

		自动登录	找回密码
密码			免费注册

[求助] 数月以来关于数据透视表的疑惑！急切……