PQ数据清洗 多列一维表转二维表

unlast

      就职一家通信工程公司，公司需要采集汇总所有光缆的OTDR的测试数据。OTDR测试报告为PDF（非图片版）每页为一条光缆，格式见下图。

    最终需要整理成如下格式

      个人不会VB编程，PQ高级功能也不会。

      全网查询找到两个方法，都需要先转换成WORD，再把每一页分一个文件……处理效果不理想。

          1、通过WPS的“文字排版-批量汇总表格” 该方法不能获取到文件名和非表格内的数据。

          2、利用word精灵关键字定位提取数据。提取出的数据比较完整，但有很多非空字符需要处理。   

     以上方法都需要先把PDF转换成word，然后把文件按页拆分单个文档，步骤麻烦。

     我发现excel自带的PQ能处理文字版的PDF文件，个人尝试了一下，遇到下面问题了。

       1、文件名是单独一行   ，如何提取出并添加到对应数据前。

       2、有多列项目和值，如何合并成一列。

渡渡orz

zpy2

create temp table aa as
select fillna(iif(instr(F_D,'OTDR')>0,rowid,''))  grp,*,iif(regexp('1 \(\d\)',F_D),F_D,'')
fa,iif(F_A like '距离范围:',F_B,'') 距离范围, iif(F_A like '折射率:',F_B,'') 折射率
from 正则表达式数据清洗多行转一行 where rowid>1;
select grp,group_concat(fa,''),group_concat(距离范围,'') 距离范围,group_concat(折射率,'') 折射率  from aa group by grp;

unlast

zpy2 发表于 2023-6-6 21:44
create temp table aa as
select fillna(iif(instr(F_D,'OTDR')>0,rowid,''))  grp,*,iif(regexp('1 \(\d ...

谢谢大佬，我试一下。

unlast

渡渡orz 发表于 2023-6-6 21:33

谢谢大佬！太感谢了

尘土1

见附件,清洗/拆分表

unlast

尘土1 发表于 2023-8-20 17:34
见附件,清洗/拆分表

谢谢，最近没上论坛

cnmlgb9998

一年前的贴子也被 你们 翻出来了。我也来练一下PQ，自学九个月。

limonet

关键字：split，附件不带PDF

limonet

let
    源 = Pdf.Tables(File.Contents("C:\Users\limon\OneDrive\桌面\000\源数据.pdf"), [Implementation="1.3"]),
    筛选的行 = Table.SelectRows(源, each ([Kind] = "Page")),
    自定义函数 = Table.TransformColumns(筛选的行,{"Data",each fx(_)}),
    合并 = Table.Combine(自定义函数[Data])
in
    合并

(x)=>
let
    筛选行 = Table.SelectRows(x, each ([Column2] <> null)),
    筛选列 = Table.SelectColumns(筛选行,List.FirstN(Table.ColumnNames(筛选行),6)),
    自定义1 = Table.PromoteHeaders(Table.Transpose(Table.Combine( List.Transform(Table.Split( Table.Transpose( 筛选列),2),each Table.Transpose(_))))),
    已添加自定义 =Table.AddColumn(自定义1, "文件名", each x{1}[Column4]),
    重排序的列 = Table.ReorderColumns(已添加自定义,{"文件名", "距离范围:", "折射率:", "非反射门限:", "总长度:", "脉冲宽度:", "回散系数:", "反射门限:", "总损耗:", "波长:", "平均时间:", "结束门限:", "总衰减:"})
in
    重排序的列