自动提取高频词

zopey

几点说明
1、中文有效；
2、字符串长为特定值；
3、目标是智能分词（长度、语义），路还很远。

自动提取高频词.zip (1.52 MB, 下载次数: 1128)

2018-4-26 17:08 上传

点击文件名下载附件

zopey

Private Sub CommandButton1_Click()
Range("a2:b99999").ClearContents
Dim arr(), brr(), crr(), dic, dic2, k As Long
Set dic = CreateObject("Scripting.Dictionary")
Set dic2 = CreateObject("Scripting.Dictionary")
On Error Resume Next

arr = Range("d1:d" & [d65535].End(3).Row)
ReDim brr(1 To [d65535].End(3).Row, 1 To 1)
For i = 1 To UBound(arr)
   For j = 1 To Len(arr(i, 1))
       Str2 = Mid(arr(i, 1), j, 1)
       If (Asc(Str2) < 0 And Asc(Str2) > -22000) Or Asc(Str2) < -24300 Then
          brr(i, 1) = brr(i, 1) & Mid(arr(i, 1), j, 1)
       Else
          If Right(brr(i, 1), 1) <> " " Then brr(i, 1) = brr(i, 1) & " "
       End If
   Next j
Next i

ReDim crr(1 To 100000, 1 To 2)
k = 1
lxzf = [c3]
cp = [c5]
For i = 1 To UBound(brr)
   ltws = Split(brr(i, 1), " ")
   For s = 0 To UBound(ltws)
     If Len(ltws(s)) < lxzf Then GoTo haha
     For j = 1 To Len(ltws(s)) - lxzf + 1
       str3 = Mid(ltws(s), j, lxzf) '连续字符=
       dic(str3) = dic(str3) + 1
       If dic(str3) >= cp Then '词频>=
          If Not dic2.exists(str3) Then
             dic2(str3) = k
             crr(k, 1) = str3
             crr(k, 2) = dic(str3)
             k = k + 1
          Else
             crr(dic2(str3), 2) = dic(str3)
          End If
       End If
     Next j
haha:
   Next s
Next i

Range("a2").Resize(k - 1, 2) = crr
End Sub

wwin80

你好，为什么把中文换成英文内容就无效了呢

v111v111v

经书好看吗，这么神

zopey

v111v111v 发表于 2018-12-14 02:45
经书好看吗，这么神

如果有合适的 文字材料，可以继续讨论，基本目的是 实现本地智能分词。

aman1516

zopey 发表于 2018-12-14 08:41
如果有合适的 文字材料，可以继续讨论，基本目的是 实现本地智能分词。

说不上是“词”吧，只能是“高频连续字符”，如何识别是“词”（既定词组），还是“字符”，似乎还需再建立一个词库字典

zopey

aman1516 发表于 2018-12-14 13:52
说不上是“词”吧，只能是“高频连续字符”，如何识别是“词”（既定词组），还是“字符”，似乎还需再建 ...

事先不需要建立字典，常用词语 在一段话中 一般会出现多次， 用统计的方法寻找到它，这是我的初步思路。

zopey

统计举例，涂黄色单元格 我认为是 固定的词语。

v111v111v

zopey 发表于 2018-12-14 08:41
如果有合适的 文字材料，可以继续讨论，基本目的是 实现本地智能分词。

说不清楚，想实现把段落分成单词的，这个是独一无二的。

aman1516

zopey 发表于 2018-12-14 14:08
统计举例，涂黄色单元格 我认为是 固定的词语。

利害，很AI…………