关于刷新时加载数据量太大的问题

riecko

之前发过一个贴子，对此问题进行了提问，但是当时没做示例文件，今天补上文件重新提问。

将文件下两个文件夹放在同一目录下即可。

如文件所示，引用表大小仅21KB，但实际加载时可加载到约10MB的内容。可否请大佬解释下具体的原理？如果是我公式写的有问题，可否帮忙提出优化建议？

libo5563

数据量不大，方法换下合并查询

riecko

libo5563 发表于 2020-9-1 15:41
数据量不大，方法换下合并查询

我知道合并查询的方法，但是我实际应用中情况会复杂的多，合并查询不够，必须通过函数解决。我只是想知道为什么会加载这么大量的数据，原理是什么？解决方案是什么？因为我实际的引用表500多K，但是加载量接近500MB，所以每次刷都要等很久。

libo5563

riecko 发表于 2020-9-1 17:11
我知道合并查询的方法，但是我实际应用中情况会复杂的多，合并查询不够，必须通过函数解决。我只是想知道 ...

Table.SelectRows()    换掉吧，用你能想到办法，只要不是逐行筛选，

riecko

libo5563 发表于 2020-9-1 17:22
Table.SelectRows()    换掉吧，用你能想到办法，只要不是逐行筛选，

可是多条件匹配不就是要遍历数据么？VBA也是一样的。主要是想知道原理。顺便看看有没有大佬可以解决这个问题。

ThxAlot

riecko 发表于 2020-9-1 17:11
我知道合并查询的方法，但是我实际应用中情况会复杂的多，合并查询不够，必须通过函数解决。我只是想知道 ...

自定义函数去匹配，供参考；根本原理上来说还是“数据明细” LEFT OUTER JOIN “引用表”的合并查询。
试了一下，合并查询的效率略高一些，约45s；写的函数合并近50s。

1. let
   
2.     Source = Excel.CurrentWorkbook(){[Name="数据明细"]}[Content],
   
3.     #"Added Custom" = Table.AddColumn(
   
4.         Source,
   
5.         "Custom",
   
6.         each [
   
7.             RefTable = Table.Group(#"引用表", {"月份", "姓名"}, {{"AGGR", each _}}),
   
8.             LookUp = RefTable{[月份=Date.StartOfMonth(_[日期]), 姓名=_[姓名]]}[AGGR]{0}
   
9.         ][LookUp]
   
10.     ),
    
11.     #"Expanded Custom" = Table.ExpandRecordColumn(#"Added Custom", "Custom", {"其它1", "其它2", "其它3", "其它4"}, {"其它1", "其它2", "其它3", "其它4"})
    
12. in
    
13.     #"Expanded Custom"

复制代码

riecko

ThxAlot 发表于 2020-9-1 17:36
自定义函数去匹配，供参考；根本原理上来说还是“数据明细” LEFT OUTER JOIN “引用表”的合并查询。
...

感谢大佬，主要我是想知道我之前那个方法，导致加载数据量变大的原理是什么。另外你这个方法好像是引用一个RECODE回来再展开，所以只加载了一次数据就会比较快，可如果这四列的引用标准不一致呢？