分享关于非结构化Excel表格数据整合，抽取的方案

kaixinbuy

wanghan519 发表于 2023-4-7 07:23
也就是说tablemerge可以自动把不规范的表头规范化，然后自己写的是匹配同一个字段不规范写法的正则表达式。 ...

匹配表头只是最基础的需要的功能，90%的情况下select的正则内容就是字段名，少数情况下像上面的有多行表头。

而我们遇到不规范的1000个Excel Sheet需要整合的时候，最大的困难来自于：一个sheet里有N个可能在任意位置的表格区域。而不是总在第一行就是表头。同时表头里含有大量非目标区域，比如多段备注，不相干的表格区域等。

这时候tablemerge.com的表头匹配+自动化的Layout分析就体现出强大的价值了。



你可以在1000个上面这种messy sheet上，随意select你需要的字段。

wanghan519

kaixinbuy 发表于 2023-4-7 07:39
匹配表头只是最基础的需要的功能，90%的情况下select的正则内容就是字段名，少数情况下像上面的有多行表 ...

确实是好思路，只要给出一行正则，既可以规范化表头，又可以遍历cells找到表头的位置，采用sql写确实绝配，pwsh和py也可以用这种思路规范表头同时找表，学到了

morpheus126

如何避免表内容中含有字段名的情况

kaixinbuy

morpheus126 发表于 2023-4-7 11:13
如何避免表内容中含有字段名的情况

这也是表头识别算法的一块功能了。
如果内容行包含了表头行字段的关键字，系统会通过交叉验证去识别和排除它。

leolee82

如果有的是ACCESS ENGINE的话，记得是不支持11位以上的数字。有些情况下都不敢用SQL了
这种还是自己写的用起来顺手

kaixinbuy

leolee82 发表于 2023-4-7 12:31
如果有的是ACCESS ENGINE的话，记得是不支持11位以上的数字。有些情况下都不敢用SQL了
这种还是自己写的用 ...

既然已经是access表格了，就不需要上面讨论的这些东西了。不是此处讨论的话题。

morpheus126

kaixinbuy 发表于 2023-4-7 11:26
这也是表头识别算法的一块功能了。
如果内容行包含了表头行字段的关键字，系统会通过交叉验证去识别和排 ...

我也写过类似的东西，但奈何守规矩的人用不上，爱折腾的人千千万。。。
就和GPT一样，其实给专业人士用还是可以的，
但给普通用户用，只会落下一句“怎么那么不智能”的评价。。。不想花时间去争辩

lkqsmxw

KKKKKKKKKKKKKKKKKKK

kaixinbuy

lkqsmxw 发表于 2023-4-10 11:28
KKKKKKKKKKKKKKKKKKK

你的表格是空的

kaixinbuy

morpheus126 发表于 2023-4-10 09:46
我也写过类似的东西，但奈何守规矩的人用不上，爱折腾的人千千万。。。
就和GPT一样，其实给专业人士用 ...

我们主要用于财务，审计中有大量不规范表格，靠手工无法处理完的场景里，非用不可的场景。