[发明专利]一种基于词向量的词义消歧方法及装置

说明书

本发明涉及一种基于词向量的词义消歧方法及装置，本发明方法包括数据预处理步骤，对文档和义项进行去标点符号、分词等处理；训练词向量步骤，使用词向量训练工具训练词向量；上下文向量表示步骤，获取词向量并采用局部加权方法计算上下文向量；义项向量表示步骤，获取义项各个词的词向量，计算得到义项向量；相似度计算步骤，计算上下文向量与各个义项向量之间的余弦相似度；义项分布频率计算步骤，统计数据集中歧义词的各个义项的分布频率；最终得分统计步骤，计算上下文与各个义项的余弦相似度以及各个义项频率的综合得分，最高得分的义项为最佳词义。

技术领域

本发明涉及一种基于词向量的词义消歧方法及装置，属于自然语言处理（NaturalLanguage Processing）领域、机器翻译（Machine Translation）领域、人工智能（Artificial Intelligence）等领域。

背景技术

近年来，随着科技的发展，词意消歧在自然语言处理、机器翻译、人工智能等领域的重要性日益凸显。词意消歧成为一个迫切需要解决的问题。

随着词义消歧概念的普及，学者们提出了有关词义消歧的解决方法。早期使用的词义消歧知识是人工编织的规则，但手工编写规则费时费力且存在知识获取的瓶颈问题，随后语言学家提供的各类词典成为人们获取词义消歧知识的一个重要知识来源。目前，主要有四种方法进行词义消歧：基于有监督的方法、基于无监督的方法、基于半监督的方法以及基于知识的方法，其中基于有监督的方法效果最好。近年来研究者普遍使用词向量进行词意消歧。

随着Word2vec训练所得的词向量的出现，自然语言处理领域有了新的研究工具。不久之后，GloVe成为训练词向量的新工具。

词向量很早就被应用在词义消歧任务中，早前的向量表示方式：One-HotRepresentation，此方法表示的某一个词的词向量长度为词表的长度，该词向量大部分位置都为零，只有该词在词表中的位置对应的维度为1，很明显，这种方法难以表示词包含的语义信息及单词之间的语义关系。此外，这种表示方式存在数据稀疏的问题。近年来，单词的分布式表示，得到了广泛的应用。与One-Hot Representation不同，该方法是将单词表示为低维实数向量。在低维向量空间中，可以根据计算两者之间的距离来衡量两个单词之间的相似程度。单词的分布式表示解决了One-Hot Representation表示词向量存在的两个问题。目前有两种常见的训练单词的分布式表示模型：word2vec和GloVe。两者均可生成高质量的词向量，但GloVe模型训练速度比word2vec更快，效果与word2vec相当。

发明内容

本发明要解决的技术问题是提供一种基于词向量的词义消歧方法以及装置，有效支持词义消歧，用于机器翻译系统中。

本发明的技术方案是：一种基于词向量的词义消歧方法，包括：

1）数据预处理步骤，对文档和义项进行去标点符号、分词等处理；

2）训练词向量步骤，使用词向量训练工具训练词向量；

3）上下文向量表示步骤，获取词向量并采用局部加权方法计算上下文向量；

4）义项向量表示步骤，获取义项各个词的词向量，得到义项向量；

5）相似度计算步骤，计算上下文向量与各个义项向量之间的余弦相似度；

6）义项分布频率计算步骤，统计数据集中歧义词的各个义项的分布频率；

7）最终得分统计步骤，计算上下文与各个义项的余弦相似度以及各个义项频率的综合得分，最高得分的义项为最佳词义。

所述数据预处理步骤，具体包括如下步骤：

步骤110：给定一篇包含歧义词的文档，对该文档进行处理：去标点符号、分词、去停用词、大写转换为小写，经过预处理的文档，称为上下文；