关系PQ读取数据速度的疑问

飞条鱼

我有个服装仓库的进出库表格，大概1万-10万行的数据量，原来用传统方式做的数据透视表，刷新数据感觉是实时的（不到一秒），改用PP模型做透视表后，刷新数据10来秒起，慢的无法用。
后来发现主要时间用在了PQ检索数据源上了。为了证实这一点，我做了一个1万行的空白表格（每行就一列复制一个字母），然后用PQ检索它不做任何计算，果然还是花时巨多，换了几台电脑都是这般慢，我用的都是2016版。


肯定是我哪里出问题了，可是我自己怎么也找不到原因，求支招。

zpy2

啥是 传统方式做的数据透视表？

飞条鱼

zpy2 发表于 2019-12-7 11:52
啥是 传统方式做的数据透视表？

没有power bi 之前，我选取整个记录的表格作为数据源，生成透视表。

但是用老的方法以我的能力很多问题解决不了，比如我要多个工作表的数据源。后来出power bi就好办了，以我原有的水平能力不用怎么学习就能整出我想要的数据。 只是没想到电脑响应速度是出奇的慢。

zpy2

飞条鱼 发表于 2019-12-7 14:10
没有power bi 之前，我选取整个记录的表格作为数据源，生成透视表。

但是用老的方法以我的能力很多问 ...

概1万-10万行
如果是10万，应该不会快
pq多表合并 也可以数据透视表的来源用 sql语句的 union来实现，但是，如果是10万行的话，我觉得也够呛。

飞条鱼

zpy2 发表于 2019-12-7 14:20
概1万-10万行
如果是10万，应该不会快
pq多表合并 也可以数据透视表的来源用 sql语句的 union来实现， ...

我现在用着的就是用sql的，快的飞一样。是论坛里大神帮我写的，已经用了几年了，我看不懂那些代码，想做些小的调整都无从下手。
最近发现了PQ，正好能实现同样的效果，调整起来也是随心所欲，微软给我量身定做的一样，可是无论我怎么弄都是卡在速度上了，仅仅是速度无法适合工作，其它都没问题。

同样的万行数据，PQ检索数据怎么就那么的费时呢

varytina

飞条鱼 发表于 2019-12-7 17:17
我现在用着的就是用sql的，快的飞一样。是论坛里大神帮我写的，已经用了几年了，我看不懂那些代码，想做 ...

PQ的速度也跟思路，使用公式方法，是否在内存中缓冲有关系，何不把附件放上来，这里的大神说不定可以帮忙看一下呢？

飞条鱼

varytina 发表于 2019-12-7 22:16
PQ的速度也跟思路，使用公式方法，是否在内存中缓冲有关系，何不把附件放上来，这里的大神说不定可以帮忙 ...

测试PQ的速度.rar (1.55 MB, 下载次数: 41)

2019-12-8 09:22 上传

点击文件名下载附件

2万行数据无任何公式计算，PQ只做了查询逆透视也是没有任何计算，刷新一下数据耗时好几秒了。
内存中缓冲是否有设置选项？

zpy2

飞条鱼 发表于 2019-12-8 09:26
2万行数据无任何公式计算，PQ只做了查询逆透视也是没有任何计算，刷新一下数据耗时好几秒了。
内存中 ...

2万*5=10万 行，要写入10万行当然是慢了。
如果是sql语句作为pivottable的数据来源，是读入到缓存的，所有没有io,速度当然快，前提是内存要大(恐怕还是要64位的Excel吧)。32位只有2g内存。

varytina

飞条鱼 发表于 2019-12-8 09:26
2万行数据无任何公式计算，PQ只做了查询逆透视也是没有任何计算，刷新一下数据耗时好几秒了。
内存中 ...

公式前面加入Table.Buffer 再试试，会不会快一些

飞条鱼

zpy2 发表于 2019-12-8 10:07
2万*5=10万 行，要写入10万行当然是慢了。
如果是sql语句作为pivottable的数据来源，是读入到缓存的，所 ...

原来如此，看样子是绕不开检索数据花费大量时间这个坎了。