[发明专利]一种领域词典的构建方法、装置、设备及存储介质

说明书

本发明适用自然语言处理技术领域，提供了一种领域词典的构建方法、装置、设备及存储介质，该方法包括：对选取的通用语料库和领域语料库分别进行词向量模型训练，获得对应的通用词向量空间模型和领域词向量空间模型，计算通用词向量空间模型和领域词向量空间模型中对应的通用词向量和领域词向量与初始领域种子词典中种子词向量的词语语义相似度，根据计算得到的词语语义相似度，选取对应的通用词向量或者领域词向量对初始领域种子词典进行扩展，得到对应的领域词典，通过新词发现算法对领域词典中的未成词词汇进行筛除，以完成领域词典的构建，从而扩大了领域词典的词汇量，且提高了领域词典中领域词汇的准确度，进而提高领域词典的准确率。

技术领域

本发明属于自然语言处理技术领域，尤其涉及一种领域词典的构建方法、装置、设备及存储介质。

背景技术

随着科技和社会的不断进步，语言也在不断地发生着变化，特别是近年来，新理论、新概念、新材料、新技术、新工艺不断涌现，与之同步产生的新的领域词汇层出不穷。领域词汇集中体现和负载了一个学科领域的核心知识，词汇的变化在一定程度上反映了一个学科领域的发展变化，领域词汇对于了解、把握一个学科领域的发展现状、未来趋向等具有重要的理论和现实意义，随着自然语言处理应用领域的不断扩展，对于领域词汇词典的需求也越来越迫切。

现有的基于词向量的领域词典构建算法是单一的利用网络上的通用语料或者领域语料，直接通过中文分词工具得到分词语料后构建的通用词向量模型或者领域词向量模型，然后再计算通用词向量模型或者领域词向量模型中词语之间的语义相似度，以构建领域词典。然而，上述通用词向量模型没有考虑到在限定领域的领域词典构建对领域语料的依赖问题，而领域词向量模型也没有考虑到限定域语料不足的问题，同时，上述基于词向量的领域词典构建算法没有考虑到中文分词工具在限定域领域不能对领域词汇或者新词等未知词进行正确分词等问题，从而导致获得的领域词典空间不足、领域词汇不准确等问题。

发明内容

本发明的目的在于提供一种领域词典的构建方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的领域词典构建方法，导致领域词典中领域词汇量不足、且领域词汇不准确的问题。

一方面，本发明提供了一种领域词典的构建方法，所述方法包括下述步骤：

对选取的通用语料库和领域语料库分别进行词向量模型训练，获得对应的通用词向量空间模型和领域词向量空间模型；

计算所述通用词向量空间模型和所述领域词向量空间模型中对应的通用词向量和领域词向量与预设的初始领域种子词典中种子词向量的词语语义相似度；

根据计算得到的所述词语语义相似度，选取对应的通用词向量或者领域词向量对所述初始领域种子词典进行扩展，得到对应的领域词典；

通过新词发现算法对所述领域词典中的未成词词汇进行筛除，以完成所述领域词典的构建。

优选地，计算所述通用词向量空间模型和所述领域词向量空间模型中对应的通用词向量和领域词向量与预设的初始领域种子词典中种子词向量的词语语义相似度的步骤，包括：

通过预设的向量余弦相似度公式计算所述通用词向量和所述领域词向量与所述种子词向量的词语语义相似度，所述向量余弦相似度公式为其中，V₁为所述通用词向量或者所述领域词向量，V₂为所述种子词向量，S(V₁,V₂)为所述词语语义相似度。

优选地，选取对应的通用词向量或者领域词向量对所述初始领域种子词典进行扩展的步骤，包括：

当计算得到的所述词语语义相似度大于预设的领域关键词阈值时，将所述词语语义相似度对应的通用词向量或者领域词向量添加到所述初始领域种子词典中，以对所述初始领域种子词典进行扩展。