【power query/pivot】大量数据加载到pivot模型速度太太太太慢，每秒几条

Fiveis5 · 发表于 2018-4-25 16:50

本帖最后由 Fiveis5 于 2018-4-25 16:51 编辑

问题描述：
A表有40多万条数据，需要新增1列，模糊匹配B表内的数值（小于A表【指数】列的最大值对应的数值）。
使用 table.selectrows 实现了模糊匹配的查询，
在上传加载到模型时，速度太慢，每秒1-3条，这样40万需要37个小时才能上载到模型。
求解决方案，谢谢大神。

A表格式：

A表

B表格式：

doufy · 发表于 2018-4-25 21:21

32位excel?转64会好些

Fiveis5 · 发表于 2018-4-26 09:47

doufy 发表于 2018-4-25 21:21
32位excel?转64会好些

我在pivot里面处理了，每次刷新用时9分钟左右。。。
用的方法是 =MAXX(FILTER('指数转换',[指数]<='店铺排名'[交易指数]),'指数转换'[数值])

jiny680 · 发表于 2018-4-26 20:22

店铺排名总览.zip (644.78 KB, 下载次数: 83)
自己看下为什么会有所改善

hugo_huang · 发表于 2018-4-28 09:16

试一下先用Table.Buffer函数将你的“指数转换表”缓存一下。

天道酬勤y · 发表于 2022-3-12 16:35

这个有用缓存

luzwales · 发表于 2022-3-14 09:48

如果引用表行很多，你这个肯定速度很慢！
用Dax可能快点！！

luzwales · 发表于 2022-3-14 18:01

jiny680 发表于 2018-4-26 20:22
自己看下为什么会有所改善

好像是前面的问题，不是后Table.SelectRows的问题。
你这个如果使用List.Select速度会更快一点。每秒100行左右。
如果是DAX 会秒刷新。

luzwales · 发表于 2022-3-14 18:14

let
源 = Excel.Workbook (Folder.Files("C:\Users\dmnandlu\Downloads\店铺排名1"){[Name="2015年店铺交易排名.xlsx"]}[Content],true),
Result = Table.AddColumn(源{[Item="Sheet1",Kind="Sheet"]}[Data],"Result", each List.Max(List.Select(指数转换[指数],(t)=>t<_[交易指数] )))
in
Result

复制代码

		自动登录	找回密码
密码			免费注册

[求助] 【power query/pivot】大量数据加载到pivot模型速度太太太太慢，每秒几条

最新热点 /1