在海量数据中查到特殊文字（从没遇到过）

adad321 · 发表于 2024-2-17 20:58

本帖最后由 adad321 于 2024-2-17 21:13 编辑

如图，导出来的数据表中居然出现这种特殊文字，两个看上去一模一样的勇字都不一样的(截图中只有鑫和第二个勇字是正常文字)，操作使用的时候，包含这种内容的表格会出现不兼容或不识别的情况，查了一下字符集也没有什么思路，之后就没有办法了。

帮忙想想办法怎样才能从大量数据中定位这种类型的特殊文字，然后后续就好办了。我导出到表格里了，文字复制不出来。

傲游截图20240217204851.png

提取出的特殊文字.rar (7.88 KB, 下载次数: 23)

ykcbf1100 · 发表于 2024-2-17 21:43

先下载看一下

ykcbf1100 · 发表于 2024-2-17 21:45

都没看到源数据，应该是无法定位的吧。

wanghan519 · 发表于 2024-2-18 04:50

还是用python吧，字符编码这块处理起来方便一点
也用vba试了，但在vba里，那个不能转为gbk的字符，已经被当成两个不显示字符也就是4个unicode编码了，也就是无法通过尝试转码gbk检测出来，但是也许可以用查找不可见字符的办法找出来，比如lenb再去除可见的那几个字符来检查，不过还是太麻烦了

wanghan519 · 发表于 2024-2-18 05:53

py是对每个字符尝试转gbk，定位不能转的即可
vba试了一下，先去除所有单字节的可见字符，然后利用len和lenb的关系找出含有这种字符的单元格

wanghan519 · 发表于 2024-2-18 07:28

如果有原始文本文件更方便一点
比如解压xlsx后里面的xml文件是utf-8编码，所以用iconv转码utf8到gbk，把不能转的字符换成问号，如图也能找到

wanghan519 · 发表于 2024-2-18 08:55

本帖最后由 wanghan519 于 2024-2-18 08:57 编辑

用lambda公式解决似乎不错，wps或office365

E2=LET(f,LAMBDA(x,y,IF(x=127,y,f(x+1,SUBSTITUTE(y,CHAR(x),"")))),s,f(32,C2),LEN(s)*2=LENB(s))

复制代码

adad321 · 发表于 2024-2-18 19:14

wanghan519 发表于 2024-2-18 07:28
如果有原始文本文件更方便一点
比如解压xlsx后里面的xml文件是utf-8编码，所以用iconv转码utf8到gbk，把不 ...

我的个天，真是实力碾压，我运气怎么这么好，居然能遇到专业解答。先膜拜一下吧

perfect131 · 发表于 2024-2-18 19:49

vbe 是936的原因其实可以用chrw来解决这种问题

adad321 · 发表于 2024-2-18 20:09

wanghan519 发表于 2024-2-18 04:50
还是用python吧，字符编码这块处理起来方便一点
也用vba试了，但在vba里，那个不能转为gbk的字符，已经被 ...

for i in range(len(rng.value)):
for j in range(len(rng.value)):
      try:
         rng.value[j].encode('gbk')
      except:
         print(i, j, rng.value)

		自动登录	找回密码
密码			免费注册

[求助] 在海量数据中查到特殊文字（从没遇到过）

评分

评分