[发明专利]中文词语语义相似度的度量方法及装置

说明书

本发明涉及自然语言处理技术领域，具体涉及一种中文词语语义相似度的度量方法及装置，旨在解决中文词语语义相似度度量不准确的问题。为此目的，本发明中的度量方法包括下述步骤：采用K邻近算法计算中文词语所对应初始词向量的K个近邻词向量；采用K‑means算法计算初始词向量及其K个近邻词向量的中心向量；依据初始词向量和中心向量，以及预设的迁移向量模型g，计算中文词语的迁移向量；其中，迁移向量模型g＝α×m+β×p，α和β均为预设参数，m为初始词向量，p为中心向量；依据不同中文词语对应的迁移向量，计算不同中文词语的语义相似度。通过本发明提高了中文词语语义相似性计算的准确率，能够使词向量包含更多词语语义信息，提升了系统容错性。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种中文词语语义相似度的度量方法及装置。

背景技术

自然语言处理(Natural Language Processing，NLP)是人工智能的一个重要研究领域，其基本目标技术为使计算机具备听、说、读、写等人类的语言功能，而词语语义相似度计算技术又是自然语言处理领域的关键技术。目前，词语语义相似度计算技术主要包括基于语料库统计的方法、基于词典的相似度计算方法和基于词向量的相似度计算方法。

具体地，基于语料库统计的方法是通过统计大规模语料，并利用词汇上下文信息的概率分布进行词语之间的语义相似度计算。该方法虽然能够综合反映词语在句法和语义等方面的相似性与差异性，但是该方法不仅对语料库的依赖性较大，还受制于所选择的语料。基于词典的相似度计算方法主要是基于人工语义词典，并根据概念之间的上下位关系和同义词关系等进行词语之间的语义相似度计算。该方法虽然不依赖于语料库，但是受人的主观意识和人工语义词典的影响，其计算结果准确性较低。基于词向量的相似度计算方法，如基于开源词向量工具Word2vec的相似度计算方法，可以通过词向量的相似度表示词语之间的相似度。该方法不依赖于语料库且具备较高的英文词语相似度计算准确率，但是由于中文词语的一词多义和复杂性特点，并不适用于中文词语语义相似度的计算。

发明内容

为了解决现有技术中的上述问题，即为了解决基于词向量的中文词语语义相似度计算的准确率的技术问题，本发明提供了一种中文词语语义相似度的度量方法及装置。

在第一方面，本发明中的中文词语语义相似度的度量方法，包括：

采用K邻近算法计算中文词语所对应初始词向量的K个近邻词向量；

采用K-means算法计算所述初始词向量及其K个近邻词向量的中心向量；

依据所述初始词向量和中心向量，以及预设的迁移向量模型g，计算所述中文词语的迁移向量；其中，所述迁移向量模型g＝α×m+β×p，所述α和β均为预设参数，所述m为初始词向量，所述p为中心向量；

依据不同中文词语对应的迁移向量，计算所述不同中文词语的语义相似度。

优选地，“依据不同中文词语对应的迁移向量，计算所述不同中文词语的语义相似度”的步骤具体包括按照下式所述的方法计算不同中文词语的语义相似度：

C＝cos(E,F)

其中，所述C为两个不同中文词语的语义相似度，所述E为所述的两个不同中文词语中一个中文词语的迁移向量，所述F为所述的两个不同中文词语中另一个中文词语的迁移向量。

优选地，所述方法还包括按照下述步骤优化预设的迁移向量模型g中的预设参数α和β，具体为：

获取预设中文语料库中每个中文词语的初始词向量；

采用K邻近算法计算所述每个初始词向量的K个近邻词向量；

采用K-means算法计算所述每个初始词向量及其K个邻近词向量的中心向量；