相似文本处理问题

喝酒的毛毛虫 · 发表于 2023-2-9 11:48

相似文本处理问题，做个假设吧，如果两行文字有超过80%相同的话就删除其中一行。可能比较难实现，请老师赐教。具体看附件，多谢老师。

相似文本删除问题.rar (17.91 KB, 下载次数: 25)

喝酒的毛毛虫 · 发表于 2023-2-9 13:51

看来真的有点难搞哦

小凡、、、 · 发表于 2023-2-9 14:10

确定一个相似度值，比如80%相似的随机保留一条可以写

qlmgu · 发表于 2023-2-9 16:04

借楼主的帖子请教各位老师：文本相似度与文本字数相同数量（百分比等）应该是两个不同的概念。可以对这两个不同的概念借用楼主的例子来分别进行计算吗？网络介绍的文本相似度计算比较复杂。感谢楼主和各位老师。

喝酒的毛毛虫 · 发表于 2023-2-9 16:27

小凡、、、发表于 2023-2-9 14:10
确定一个相似度值，比如80%相似的随机保留一条可以写

可以的，相似的随机保留即可

喝酒的毛毛虫 · 发表于 2023-2-10 12:37

有大神有解决办法吗？

grf1973 · 发表于 2023-2-10 14:24

试试吧。。。

喝酒的毛毛虫 · 发表于 2023-2-10 14:50

grf1973 发表于 2023-2-10 14:24
试试吧。。。

已经很不错了，但是如果A列的文本多复制一次接在后面的话结果就有问题了

lbpp · 发表于 2023-2-10 14:55

感觉这个要用人工智能来解决。Python可能有适合的工具。

jz_l · 发表于 2023-2-10 16:11

		自动登录	找回密码
密码			免费注册

[求助] 相似文本处理问题