标题批量分词取词工具

53645111

最近在帮别人做网站时想从标题中批量提取关键词,上网找了好久没有合适的,于是自己动手做了一个, 原理是从标题上第1个字开始每隔1个字截取2个字做为词,然后在词典里查询有没有这个词,有就显示;同理截取3字词/4字词,最后把显示出来的词连接起来就得到需要的Tags了.但是我这个是用查询做的,如果把所有的2字、3字、4字词全查出来就会显示“查询过于复杂”，这个样品只查了5个词就比较慢了，所以发上来请大侠给改改，算是抛砖引玉了！ （为了上传已经把词典删除只剩80行了，原词典是盘古中文分词工具中附带的） 关键词提取.zip (28.68 KB, 下载次数: 151)

2013-6-3 15:38 上传

点击文件名下载附件
中文关键词提取

wuxiang_123

最大支持10个关键字，如需扩展，请在MAX部分进行扩展，隐藏内容，为留给后来者思考，只提供一种思路，非最佳，晚些再取消隐藏。。

1. SELECT ID,LEFT(合并,LEN(合并)-1) AS 关键字组合 FROM
   
2. (SELECT ID,MAX(IIF(次序=1,关键字))&MAX(IIF(次序=2,关键字))&MAX(IIF(次序=3,关键字))&MAX(IIF(次序=4,关键字))&MAX(IIF(次序=5,关键字))&MAX(IIF(次序=6,关键字))&MAX(IIF(次序=7,关键字))&MAX(IIF(次序=8,关键字))&MAX(IIF(次序=9,关键字))&MAX(IIF(次序=10,关键字)) AS 合并 FROM
   
3. (SELECT A.ID, A.词典&',' AS 关键字, SUM(1) AS 次序
   
4. FROM (SELECT 目标.ID,词典,目标 FROM
   
5. 词典, 目标
   
6. where instr(目标,词典))  AS A, (SELECT 词典, 目标 FROM
   
7. 词典, 目标
   
8. where instr(目标,词典))  AS B
   
9. WHERE A.目标=B.目标 AND A.词典>=B.词典
   
10. GROUP BY A.ID, A.词典, A.目标)
    
11. GROUP BY ID)

复制代码

自定义函数的参考咱家是猫版主的帖子：
http://club.excelhome.net/forum.php?mod=viewthread&tid=972291&page=1#pid6657042

完成效果：

53645111

谢谢 wuxiang_123 大侠!
不过你写的查询也很慢,我的电脑配置还不错,可是反应不过来,(i7+8g内存+独显+7500转的硬盘,etc.)
先把附件下下来慢慢学习.
再次感谢!

wuxiang_123

53645111 发表于 2013-6-4 16:53
谢谢 wuxiang_123 大侠!
不过你写的查询也很慢,我的电脑配置还不错,可是反应不过来,(i7+8g内存+独显+7500转 ...

1. SELECT ID,LEFT(合并,LEN(合并)-1) AS 关键字组合 FROM
   
2. (SELECT ID,MAX(IIF(次序=1,关键字))&MAX(IIF(次序=2,关键字))&MAX(IIF(次序=3,关键字))&MAX(IIF(次序=4,关键字))&MAX(IIF(次序=5,关键字))&MAX(IIF(次序=6,关键字))&MAX(IIF(次序=7,关键字))&MAX(IIF(次序=8,关键字))&MAX(IIF(次序=9,关键字))&MAX(IIF(次序=10,关键字)) AS 合并 FROM
   
3. (SELECT A.ID, A.词典&',' AS 关键字, SUM(1) AS 次序
   
4. FROM (SELECT 目标.ID,词典 FROM
   
5. 目标,词典
   
6. where instr(目标,词典))  AS A,
   
7. (SELECT 词典, 目标.ID FROM
   
8. 目标, 词典
   
9. where instr(目标,词典))  AS B
   
10. WHERE A.ID=B.ID AND A.词典>=B.词典
    
11. GROUP BY A.ID, A.词典)
    
12. GROUP BY ID)

复制代码

将次序换一下试试。你的实际数据有多少。

53645111

这两天有点忙!
谢谢您的帮助!
字典有14万行,要提取的数据就几拾行.

我想说明几点:
1,做网站的人电脑配置达到我这程度的不太多,
2,真正是做纯采集站的人数据可能都有几拾万条,如果用这种方法再好的电脑也会慢,就如同人工在一本厚书里查几个特定的字,
3,"标题批量分词取词工具"就拿这个标题演示一下我的提词思路
    2字的截9次: 标题/题批/批量/量分/分词/词取/取词/词工/工具  
    3字的截8次:标题批/题批量/批量分/量分词/分词取/词取词/取词工/词工具
    4字的截7次:标题批量/题批量分/批量分词/量分词取/分词取词/词取词工/取词工具
一共24次,像这种取词,然后在词典里查这个词是否存在(词典里的记录根据需要会删除一些无关的词,以保证最终的结果更有用),存在就显示,并连接起来用逗号分隔.
4,是不是用VBA能更好的解决这种问题?(比如数组、遍历等等，目前仅会用access的表、查询、窗体这些基本的东西。）

再次感谢版主的支持！

53645111

顶一下,盼高手