PQ计算占比，多次重复读取源数据的问题

potpot2

数据量为200w条，文件大小是200M。

附件是示例数据

总共要算3次占比。发现每次计算占比的时候，都需要重新读取200M的数据，导致读取整体数据量达到1G以上，效率非常慢。

按照逻辑来说，不应该是按照“更改的类型”的表来算占比吗？怎么还要去每次读源数据？奇怪


===================

公式如下：
let
    源 = Excel.CurrentWorkbook(){[Name="表2"]}[Content],
    更改的类型 = Table.TransformColumnTypes(源,{{"种类", type text}, {"所属仓库", type text}, {"数量", Int64.Type}}),
    占比 = Table.AddColumn(更改的类型, "占比", each [数量]/List.Sum(更改的类型[数量]),Percentage.Type)
in
    占比


求助各位大大。

wdx223

更改的类型那步buffer一下，总计单独用一步计算出常量，然后再addcolumn试试

libo5563

这么规矩的数据源，这样的计算，放pp里去出度量值会不会更合适些

potpot2

wdx223 发表于 2020-7-15 14:08
更改的类型那步buffer一下，总计单独用一步计算出常量，然后再addcolumn试试

感谢思路，果然加了Table.Buffer之后明显降低读取数据量，效率提升了几倍。



思路如下：

let
    源 = Excel.CurrentWorkbook(){[Name="表2"]}[Content],
    更改的类型 = Table.Buffer(Table.TransformColumnTypes(源,{{"种类", type text}, {"所属仓库", type text}, {"数量", Int64.Type}})),
    占比 = Table.AddColumn(更改的类型, "占比", each [数量]/List.Sum(更改的类型[数量]),Percentage.Type)
in

potpot2

但是也请教“总计单独用一步计算出常量”，应该怎么写呢？常量不明白

wdx223

let
    源 = Excel.CurrentWorkbook(){[Name="表2"]}[Content],
    更改的类型 = Table.Buffer(Table.TransformColumnTypes(源,{{"种类", type text}, {"所属仓库", type text}, {"数量", Int64.Type}})),
    合计=List.Sum(更改的类型[数量]),
    占比 = Table.AddColumn(更改的类型, "占比", each [数量]/合计,Percentage.Type)
in