[发明专利]构建词语网络及抽取关键词的方法和装置在审
申请号: | 201510433937.2 | 申请日: | 2015-07-22 |
公开(公告)号: | CN105095430A | 公开(公告)日: | 2015-11-25 |
发明(设计)人: | 周青 | 申请(专利权)人: | 深圳证券信息有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518028 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 构建 词语 网络 抽取 关键词 方法 装置 | ||
技术领域
本发明涉及自然语言处理领域,特别涉及一种构建词语网络及抽取关键词的方法和装置。
背景技术
关键词是文档中反映全文主题内容信息的单词或术语,通过阅读关键词,可以快速了解文档的主要内容。关键词自动抽取是依靠计算机从文档中选择出反映文档主题内容的词。关键词抽取在文本分类、文本聚类、自动摘要、信息检索等方面具有十分重要的作用。
现有技术中,关键词自动抽取有以下方法:
一、基于统计的关键词抽取方法:通过统计文档中每个词语出现的频率,将频率高于某一阈值的词语作为关键词。然而,在实践中往往一些高频词语的重要性较低,而一些相对低频词语的重要性却很高,因此,该方法不能准确地反映词语的重要程度,抽取的关键词准确性较低。
二、基于词语网络的关键词抽取方法:通过构建无权重的词语网络,计算词语网络中每个词语的中间度密度,将中间度密度高于某一阈值的词语作为关键词。
其中,词语网络G中顶点Vi的中间度定义为:
其中,n为词语网络G中所有顶点数目;gmk表示顶点Vm和Vk之间的最短路径;gmk(Vi)表示顶点Vm和Vk之间的最短路径是否经过顶点Vi,通过为1,否则为0。
顶点Vi的中间度密度,是指将语义网络G中所有顶点的中间度集合平均划分成一定数目的区间后,顶点Vi的中间度所在区间的顶点密度,其计算量很大。
由于上述方法构建的是无权重词语网络,词语的中间度密度表示的只是与该词语有语义关联的词语的数量,而未包含词语之间的语义关联程度信息,因此,该方法抽取的关键词的准确性较低;另一方面,由于中间度密度计算方法较复杂,其计算效率也较低。
发明内容
为克服上述现有技术存在的不足,本发明的目的在于提供一种构建词语网络及抽取关键词的方法和装置,能较大程度上提高关键词抽取的准确性和效率。
为达上述目的,本发明提供一种构建词语网络的方法,该方法包括:
对文本进行预处理,得到词语集合;
分别计算所述词语集合中任意两个词语之间的语义相似度;
根据所述词语集合及所述语义相似度,构建带权重的语义相似度网络。
本发明还提供一种构建词语网络的装置,该该装置包括预处理单元、相似度计算单元、词语网络构建单元,其中:
预处理单元,用于对文本进行预处理,得到词语集合;
相似度计算单元,用于计算所述词语集合中任意两个词语之间的语义相似度;
词语网络构建单元,用于根据所述词语集合及所述语义相似度,构建带权重的语义相似度网络。
本发明还提供了一种利用如上述方法构建的词语网络进行抽取关键词的方法,该方法包括:
计算与所述顶点相连的各边权重的倒数之和,得到该顶点的加权中心度;
计算所述顶点的中间中心度;
根据所述顶点的加权中心度和中间中心度,计算所述顶点的重要度;
根据各顶点的重要度确定关键词。
本发明还提供了一种利用如上述抽取关键词的方法进行抽取关键词的装置,该装置包括:
加权中心度计算单元,用于计算与所述顶点相连的各边权重的倒数之和,得到该顶点的加权中心度;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳证券信息有限公司,未经深圳证券信息有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510433937.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:建立搜索词与应用数据推荐关系的方法及装置
- 下一篇:一种数据存储方法及装置