中文分词

zopey

用vba字典对D列文本做统计分析，实现自动分词。
暂只支持中文字符，不含空格及别的符号。
中文分词.rar (19.57 KB, 下载次数: 155)

2019-8-7 21:17 上传

点击文件名下载附件

代码微调，测试样本


中文分词2.zip (21.33 KB, 下载次数: 169)

2019-8-8 11:48 上传

点击文件名下载附件

killq

呃，这么玩啊。。。。
我觉得不如去找个输入法的词库效果更好点。。。

zopey

killq 发表于 2019-8-7 21:40
呃，这么玩啊。。。。
我觉得不如去找个输入法的词库效果更好点。。。

程序的目的 就是根据文本的具体内容，建立临时的词库。再回头 拆分出文本的“主谓宾”结构。

zopey

1. Private data()
   
2. 
   
3. Property Let items(Optional index, ByVal arry As Variant)
   
4.     If IsArray(arry) Then data = arry Else data(index) = arry
   
5. End Property
   
6. 
   
7. Property Get items(Optional index = -1) As Variant
   
8.     If index >= 0 Then items = data(index) Else items = data
   
9. End Property
   
10. 
    
11. 
    
12. Private Sub Class_Initialize()
    
13.     ReDim data(0 To 10)
    
14. End Sub
    
15. 
    
16. Private Sub Class_Terminate()
    
17.     Erase data
    
18. End Sub

复制代码

1. Sub 测试()
   
2. Dim dic As Object
   
3. Set dic = CreateObject("scripting.dictionary")
   
4. 
   
5. If Not dic.exists("a") Then Set dic("a") = New parents
   
6. dic("a").items = Array(1, 99, 3, 4, 5)
   
7. MsgBox UBound(dic("a").items())
   
8. 
   
9. dic("a").items(1) = 88
   
10. MsgBox dic("a").items(1)
    
11. 
    
12. dic("a")(1) = 77
    
13. MsgBox dic("a")(1)
    
14. End Sub

复制代码

类模块-学习例.zip (18.92 KB, 下载次数: 178)

2019-8-12 17:12 上传

点击文件名下载附件

wdx223

有了PowerQuery，就不用那么费劲了吧

zopey

wdx223 发表于 2019-8-12 17:22
有了PowerQuery，就不用那么费劲了吧

保留D列文本，把A、B 两列先清空 ，PQ能得到什么？

wdx223

zopey 发表于 2019-8-12 17:29
保留D列文本，把A、B 两列先清空 ，PQ能得到什么？

好吧，你赢了。

zopey

制作了2个互动按钮，
1、从原词D列 提取出 词典A列后，如不满意可以人为调整；
2、照搬 @时间的音符的 trie 代码 实现分词E列，添加括号。

效果如图：


详见附件：
中文分词3.rar (26.81 KB, 下载次数: 214)

2019-8-15 10:03 上传

点击文件名下载附件

iris_2356

呵呵,这样玩吗,,,如果有新词不在字典里边,,不添加字典能行吗,,,字典里边 同时有 "玉米"和"玉米油"这两个词,,,请问句子中出现"玉米油"这三个字的时候怎么拆分呢

gxp1986

弱弱的问一下,这个功能可以应用到哪些实际工场景中?