对比两个大数据的表格时，PP运行速度非常慢，怎么破解，刷新一次需要300多秒。

星梦月缘 · 发表于 2018-9-4 14:21

各位大神好：
   我需要比对两个表的数据差异，表一和表二结构是一样呢，内容绝大部分相同，只有个别不同，我需要进行对比这两个表找出差异部分的内容。
      我初步做了一个表格模型，由于表一和表二数量比较多有2万行*58列的数据内容，我先用PQ进行数据清洗，删除不需要的列，清洗过之后是2万行*20列的内容，清洗过之后直接进入PP内部模型。同时通过表一客户和表二客户号汇总去重构建唯一客户号的表三，也同时导入模型。
      最后在模型中，用表三为主表，建立索引关系，从表一取一个数值，然后再从表二取一个数值，最后两个相减得到差异如此取数值了十几项都是很简单的操作，十几项全部对应并相减之后，再生成数据透视表。但是由于每天都要更新数据，更新一次都需要300多秒，运行特别卡，有时候会直接卡死，想寻找有没有高效一点的核对方法。
      用的公式都很简单都是related 对应值过来然后两个数值相减 so-上日结存= RELATED(v6so[上日结存]) s-上日结存 RELATED(v6s[上日结存])    上日结存差额=ABS([so-上日结存]-[s-上日结存])
      跪求大神给指点指点，比对两个表的差异，有没有什么更高校的方法！跪求指点下，简单说下大概的比对思路，非常感谢。

PowerBI极客 · 发表于 2018-9-4 14:39

本帖最后由 PowerBI极客于 2018-9-4 14:47 编辑

数据导入（PQ）过程大概多久
从导入结束到透视表加载出来需要多久 excel 是32位还是64位

星梦月缘 · 发表于 2018-9-4 15:51

PowerBI极客发表于 2018-9-4 14:39
数据导入（PQ）过程大概多久
从导入结束到透视表加载出来需要多久 excel 是32位还是64位

电脑配置绝对可以，i7 64位，安装的事office2016专业版的，因为我是用VB从外部把数据抓取到表格模板中，然后点击全部刷新，此时会先对抓取过了的表格进行PQ清洗，删除不必要的数据，然后导入pp模型中进行运算，最后通过透视表刷新过来应对的数据。整个全部刷新的过程在260-500秒左右不等的时间，有时候excel还会卡死。

星梦月缘 · 发表于 2018-9-4 15:52

另外大神想问下，如果我不用PQ清洗，直接把数据抓取过来之后，直接用VB进行处理下，然后直接进入PP模型，设计运算，然后透视表，这样会不会效率更高一些呢？？？这期间不用PQ，只用PP，会不会好一些。

PowerBI极客 · 发表于 2018-9-4 16:38

星梦月缘发表于 2018-9-4 15:52
另外大神想问下，如果我不用PQ清洗，直接把数据抓取过来之后，直接用VB进行处理下，然后直接进入PP模型，设 ...

所以我前面的问题是PQ，PP分别各占多少时间，你的回答里还是没有这个信息

星梦月缘 · 发表于 2018-9-4 16:46

PowerBI极客发表于 2018-9-4 16:38
所以我前面的问题是PQ，PP分别各占多少时间，你的回答里还是没有这个信息

我也不知道呢因为我数据源采集过了之后直接点击的数据——全部刷新，然后就看excel一直在转圈，区分不出来每个占用的时间

PowerBI极客 · 发表于 2018-9-4 17:08

星梦月缘发表于 2018-9-4 16:46
我也不知道呢因为我数据源采集过了之后直接点击的数据——全部刷新，然后就看excel一直在转圈，区分 ...

调出excel右侧的编辑查询界面,再全部刷新一次，看一下PQ处理数据总共花了多长时间

Surprise丶超 · 发表于 2019-9-10 11:19

星梦月缘发表于 2018-9-4 15:52
另外大神想问下，如果我不用PQ清洗，直接把数据抓取过来之后，直接用VB进行处理下，然后直接进入PP模型，设 ...

一般都是先sql清晰，只取自己需要的数据，vb先预处理下肯定也好很多的

		自动登录	找回密码
密码			免费注册

[求助] 对比两个大数据的表格时，PP运行速度非常慢，怎么破解，刷新一次需要300多秒。