分享关于非结构化Excel表格数据整合，抽取的方案

lkqsmxw · 发表于 2023-4-6 16:51

买关子不太好吧，演示个实例让人看看，也许认为你是对的。

lkqsmxw · 发表于 2023-4-6 16:56

对多簿多表标题行数一致并含有统一的可查询字段名的合并，我正在做呢。

kaixinbuy · 发表于 2023-4-6 17:03

zpy2 发表于 2023-4-6 15:27
能不能演示一个实例？

那就以这个帖子的内容写一个例子吧：

https://club.excelhome.net/thread-1658608-1-1.html

文件夹内的工作簿，其中的工作表数量名称不一，第2-4行是合并单元格的字段、且顺序名称不一。

用VBA将所有簿中所有表的不重复字段（合并单元格形式）筛选到汇总表，按姓名、分字段进行合并及汇总。

麻烦各位看看能否达到这样的目的。

谢谢各位大师！

多层合并表头的工作簿中的工作表能否实现汇总.rar

原始数据和结果数据：

datas.zip (25.3 KB, 下载次数: 27)

以第一个sheet的数据为例，要提取出不固定位置的数据，只需要一句SQL：

select
`序号`
`姓名`
`职务工资` -- 如果有多种列头写法，用正则：`(职务工资|岗位工资|职业工资)`
`级别工资`
`基本工资合计`
`艰苦边远地区津贴`
`税务征收津贴`
`移动通讯费用补贴`
`独生子女费`
`回族伙食补贴`
`国家统一规定的津贴补贴合计`
`生活性补贴`
`工作性补贴`
`^改革性补贴$`-- 区别于`月增改革性补贴13.5`
`^津贴补贴合计$`--区别于`国家统一规定的津贴补贴合计`
`月增改革性补贴13.5`
`2017年提高改革性补贴`
`车改补贴`
`工资总额`
`养老保险8`
`职业年金4`
`住房公积金 `
`医疗保险`
`2021年7月应扣个税`
`2021年税务制服个人部分`
`2021年大病医疗保险`
`代扣及返还项目合计`
`实发金额`
from excels;

复制代码

如果要做汇总计算，还可以select sum(xx) from (上面的sql) 嵌套sql。
或者insert into到结果表后再汇总等。熟悉sql的很容易理解。

kaixinbuy · 发表于 2023-4-6 17:10

lkqsmxw 发表于 2023-4-6 16:56
对多簿多表标题行数一致并含有统一的可查询字段名的合并，我正在做呢。

标题一致统一字段很简单，powerquery就可以。
这里主要讨论的是表头不一致和表结构模板不一致，比较脏乱的数据。

kaixinbuy · 发表于 2023-4-6 17:17

kaixinbuy 发表于 2023-4-6 17:03
那就以这个帖子的内容写一个例子吧：

在上面的例子中的sql正则比较完善后，就可以把这个SQL跑在要合并的1000个模板不一的excel上一次性运行。一次性提取1000个不统一格式excel数据。

jjmysjg · 发表于 2023-4-6 17:54

kaixinbuy 发表于 2023-4-6 17:03
那就以这个帖子的内容写一个例子吧：

谢谢大师，要的就是这个结果！
可惜本人不懂SQL,能发个汇总的附件吗，最好能用VBA,

kaixinbuy · 发表于 2023-4-6 18:05

jjmysjg 发表于 2023-4-6 17:54
谢谢大师，要的就是这个结果！
可惜本人不懂SQL,能发个汇总的附件吗，最好能用VBA,

没有用vba。上面的SQL也很简单，基本就是一堆字段名。里边有相互包含的合计项是需要注意的地方。
sql和正则取决于原始数据的复杂度。普通的情况下不需要复杂的sql，按照模板依葫芦画瓢也很容易。
我只以第一个例子跑了下数据和结果。其他sheet没有时间。

zpy2 · 发表于 2023-4-6 18:37

kaixinbuy 发表于 2023-4-6 17:03
那就以这个帖子的内容写一个例子吧：

原始数据和结果数据看到了，但是能不能自己实现操作呢？
这个图片上的运行环境如何实现呢？

kaixinbuy · 发表于 2023-4-7 07:02

zpy2 发表于 2023-4-6 18:37
原始数据和结果数据看到了，但是能不能自己实现操作呢？
这个图片上的运行环境如何实现呢？

今天忙完了我就写一片完整的数据案例，运行环境搭建，运行过程，如何写SQL的文章给大家，最晚明天周六之前发出来。

wanghan519 · 发表于 2023-4-7 07:23

本帖最后由 wanghan519 于 2023-4-7 07:39 编辑

也就是说tablemerge可以自动把不规范的表头规范化，然后自己写的是匹配同一个字段不规范写法的正则表达式。

如果是这样，问题就是tablemerge规范化表头的能力有多强，如果只是拆开合并的单元格填充对应的内容，那用vba或其他语言也行，批量运行匹配不规范都没问题，毕竟同事都不愿意装环境。。。

兄弟如果方便加个好友，去年在事务所实习，做过应收应付底稿明细表的自动生成，数据不干净，且表格里有很复杂的公式，必须保持xlsx格式不能用vba。。。也有批量处理不规范的导出的发票信息的整理，想聊聊遇到的问题或解决的思路

		自动登录	找回密码
密码			免费注册

[原创] 分享关于非结构化Excel表格数据整合，抽取的方案

评分

评分