标注文档中重复词语、成语

叫我朱小一

大佬们，求助啊


难度level1：取行首的两个字进行查重，若重复则标注，如下图；

难度level2：取行首的N个字进行查重（N可控），若重复则标注，如下图；

难度level3：取行首的N个字以内（含N，如5个字以内，即含5个字）进行查重（N可控），若重复则标注，如下图；

难度level4：取行首的N个字以内（含N，如5个字以内，即含5个字）进行查重（N可控），若重复则标注出不同颜色，如下图；

难度level5：N个字以内（含N，如5个字以内，即含5个字）进行查重（N可控），若重复则标注出不同颜色，如下图；

zpy2

这个关键词固定吗？还是要分词？

level6是不是用词云比较直观，颜色比较多。

叫我朱小一

zpy2 发表于 2023-2-20 11:23
这个关键词固定吗？还是要分词？

level6是不是用词云比较直观，颜色比较多。

大佬下午好！
level 1~4 就都是取行首固定的几个字去查重；
level 5 是需要智能分词了。

zpy2

叫我朱小一 发表于 2023-2-20 14:43
大佬下午好！
level 1~4 就都是取行首固定的几个字去查重；
level 5 是需要智能分词了。

分词可以用结巴分词，词云用echarts.