ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 Excel Home精品图文教程库
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
300集Office 2010微视频教程 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 3016|回复: 14

[求助] 关系PQ读取数据速度的疑问

[复制链接]

TA的精华主题

TA的得分主题

发表于 2019-12-7 09:47 | 显示全部楼层 |阅读模式
我有个服装仓库的进出库表格,大概1万-10万行的数据量,原来用传统方式做的数据透视表,刷新数据感觉是实时的(不到一秒),改用PP模型做透视表后,刷新数据10来秒起,慢的无法用。
后来发现主要时间用在了PQ检索数据源上了。为了证实这一点,我做了一个1万行的空白表格(每行就一列复制一个字母),然后用PQ检索它不做任何计算,果然还是花时巨多,换了几台电脑都是这般慢,我用的都是2016版。


肯定是我哪里出问题了,可是我自己怎么也找不到原因,求支招。

TA的精华主题

TA的得分主题

发表于 2019-12-7 11:52 来自手机 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
啥是 传统方式做的数据透视表?

TA的精华主题

TA的得分主题

 楼主| 发表于 2019-12-7 14:10 | 显示全部楼层
zpy2 发表于 2019-12-7 11:52
啥是 传统方式做的数据透视表?

没有power bi 之前,我选取整个记录的表格作为数据源,生成透视表。

但是用老的方法以我的能力很多问题解决不了,比如我要多个工作表的数据源。后来出power bi就好办了,以我原有的水平能力不用怎么学习就能整出我想要的数据。 只是没想到电脑响应速度是出奇的慢。

TA的精华主题

TA的得分主题

发表于 2019-12-7 14:20 来自手机 | 显示全部楼层
飞条鱼 发表于 2019-12-7 14:10
没有power bi 之前,我选取整个记录的表格作为数据源,生成透视表。

但是用老的方法以我的能力很多问 ...

概1万-10万行
如果是10万,应该不会快
pq多表合并 也可以数据透视表的来源用 sql语句的 union来实现,但是,如果是10万行的话,我觉得也够呛。

TA的精华主题

TA的得分主题

 楼主| 发表于 2019-12-7 17:17 | 显示全部楼层
zpy2 发表于 2019-12-7 14:20
概1万-10万行
如果是10万,应该不会快
pq多表合并 也可以数据透视表的来源用 sql语句的 union来实现, ...

我现在用着的就是用sql的,快的飞一样。是论坛里大神帮我写的,已经用了几年了,我看不懂那些代码,想做些小的调整都无从下手。
最近发现了PQ,正好能实现同样的效果,调整起来也是随心所欲,微软给我量身定做的一样,可是无论我怎么弄都是卡在速度上了,仅仅是速度无法适合工作,其它都没问题。

同样的万行数据,PQ检索数据怎么就那么的费时呢

TA的精华主题

TA的得分主题

发表于 2019-12-7 22:16 | 显示全部楼层
飞条鱼 发表于 2019-12-7 17:17
我现在用着的就是用sql的,快的飞一样。是论坛里大神帮我写的,已经用了几年了,我看不懂那些代码,想做 ...

PQ的速度也跟思路,使用公式方法,是否在内存中缓冲有关系,何不把附件放上来,这里的大神说不定可以帮忙看一下呢?

TA的精华主题

TA的得分主题

 楼主| 发表于 2019-12-8 09:26 | 显示全部楼层
varytina 发表于 2019-12-7 22:16
PQ的速度也跟思路,使用公式方法,是否在内存中缓冲有关系,何不把附件放上来,这里的大神说不定可以帮忙 ...

测试PQ的速度.rar (1.55 MB, 下载次数: 41)
2万行数据无任何公式计算,PQ只做了查询逆透视也是没有任何计算,刷新一下数据耗时好几秒了。
内存中缓冲是否有设置选项?

TA的精华主题

TA的得分主题

发表于 2019-12-8 10:07 来自手机 | 显示全部楼层
飞条鱼 发表于 2019-12-8 09:26
2万行数据无任何公式计算,PQ只做了查询逆透视也是没有任何计算,刷新一下数据耗时好几秒了。
内存中 ...

2万*5=10万 行,要写入10万行当然是慢了。
如果是sql语句作为pivottable的数据来源,是读入到缓存的,所有没有io,速度当然快,前提是内存要大(恐怕还是要64位的Excel吧)。32位只有2g内存。

TA的精华主题

TA的得分主题

发表于 2019-12-8 21:04 | 显示全部楼层
飞条鱼 发表于 2019-12-8 09:26
2万行数据无任何公式计算,PQ只做了查询逆透视也是没有任何计算,刷新一下数据耗时好几秒了。
内存中 ...

公式前面加入Table.Buffer 再试试,会不会快一些

TA的精华主题

TA的得分主题

 楼主| 发表于 2019-12-8 21:07 | 显示全部楼层
zpy2 发表于 2019-12-8 10:07
2万*5=10万 行,要写入10万行当然是慢了。
如果是sql语句作为pivottable的数据来源,是读入到缓存的,所 ...

原来如此,看样子是绕不开检索数据花费大量时间这个坎了。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-3-28 21:34 , Processed in 0.046931 second(s), 10 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表