每日固定的csv数据，如何删除特定数据行

梦回洪荒 · 发表于 2020-5-28 10:38

背景：power bi导入每日固定的csv数据，为公司统一给各部门汇总提取（无法更改推送的数据源），但是有一半的数据不是我所需要的，我如何按照部门字段删除其他不是我想要的数据呢？
举个栗子：csv文档有300M/日，其中字段A，是业务分类，包含值11/12/13/14，其中12和14是我所需要的，11和13不是。需求：我如何在导入前后删除我不需要的那部分，确保保存的数据占用存储小，存储更多的我所需要的数据，加快运算速度。在Query 或者Bi Desktop界面操作删除操作数据源最好，用函数麻烦点也行，感谢大神！~！~

梦回洪荒 · 发表于 2020-5-28 10:49

自己顶贴，免得沉了

Jason_Kong · 发表于 2020-5-28 11:13

在Power Query中先清洗数据，如果你需要呈现的部门是固定的，可以在PQ中的筛选项里，选择“包含” 的方式把你需要的筛选出来。（你应该是有制作一个固定模板的）这样第二天导入数据进去，刷新一下PQ结果就出来了

3190496160 · 发表于 2020-5-28 12:13

vba来完成也可以，前提是有附件

梦回洪荒 · 发表于 2020-5-28 13:11

3190496160 发表于 2020-5-28 12:13
vba来完成也可以，前提是有附件

是EXCEL 的宏语言吗？每天需要打开的数据行数都超过了100万，可能没法用EXCEL打开，会丢失很多。M语言的话可以现成的哇？

梦回洪荒 · 发表于 2020-5-28 13:15

Jason_Kong 发表于 2020-5-28 11:13
在Power Query中先清洗数据，如果你需要呈现的部门是固定的，可以在PQ中的筛选项里，选择“包含” 的方式把 ...

大神，没懂是利用Query的筛选功能吗逆筛选出来删除？ Ps：不知道为什么，我的Query 没有倒三角的筛选按钮D:\

梦回洪荒 · 发表于 2020-5-28 13:21

本帖最后由梦回洪荒于 2020-5-28 13:27 编辑

【楼主补充】补充的Query 界面的图片和部分数据

镜月晶风 · 发表于 2020-5-28 13:25

没有筛选就自己写语句咯，Table.SelectRows(上一步表名,each ([业务分类]=12 or [业务分类]=14) )，如果是模糊包含，就用Table.SelectRows(上一步表名,each (Text.Contains([业务分类],"12") or Text.Contains([业务分类],"14")) )。数字列也要改成文本，另外还有不包含，那就是Table.SelectRows(上一步表名,each ([业务分类]<>12 and [业务分类]<>14) )。另外一半应该有倒三角筛选按钮的，你截图下你为啥没有

镜月晶风 · 发表于 2020-5-28 13:25

梦回洪荒发表于 2020-5-28 13:21
【楼主补充】补充的Query 界面的图片和部分数据

你这个是不是powerpivot的页面啊，还是powerbi里面的某个操作页面

梦回洪荒 · 发表于 2020-5-28 13:29

本帖最后由梦回洪荒于 2020-5-28 14:15 编辑

镜月晶风发表于 2020-5-28 13:25
你这个是不是powerpivot的页面啊，还是powerbi里面的某个操作页面

大神，都有的。我刚才上传的是Power Query界面，建模界面肯定有的。我在建模 Pivot上尝试下，感谢

		自动登录	找回密码
密码			免费注册

[求助] 每日固定的csv数据，如何删除特定数据行