[发明专利]一种嵌入外部词典信息的词向量改进方法

摘要

本发明涉及自然语言处理的技术领域，更具体地，涉及一种嵌入外部词典信息的词向量改进方法。本发明在普通词向量的基础上融合了相似词词典和相关词词典的信息，相比于普通词向量，本发明可以较好的分离共现词的影响，同时缩小词义相近的词的词向量距离，使得最终的词向量更接近词的客观词义；另一方面，因为词向量是很多自然语言处理任务的底层技术，更接近客观词义的词向量有助于下游任务的提升。外部预训练的高质量词向量在一些任务中还能缓解标注数据不足的问题。

主权项

1.一种嵌入外部词典信息的词向量改进方法，其特征在于，包括以下步骤：S1: 准备一个大型语料库和一个电子词典；S2: 相似词词典：电子词典的每个词可能会附带有近义词和同义词，利用脚本将其抽取出来并记录；S3: 相关词词典：在大型语料库中，使用统计方法寻找相关词对，按照两个相关词的联合概率远大于两个词的单独概率乘积的原则，将相关词对识别出来并记录；S4: 针对语料库，统计出现的所有词及其词频，构建一个词汇表；S5: 在语料库中设定一个滑动窗口，窗口大小为n，取窗口的中间词为中心词，将中心词和其他词构成正例pair；S6: 在词汇表中依据词频确定被采样概率，采样出若干个词，和中心词一起构成负例pair；S7: 如果S5的中心词出现在相似词词典中，则分别把中心词和相似词典记录的对应词构成pair，加入到正例pair中；S8: 如果S5的中心词出现在相关词词典中，则分别把中心词和相关词典记录的对应词构成pair，加入到负例pair中；S9: 搭建一个单层且无偏置参数的全连接神经网络，将正例pair和负例pair作为输入，利用sigmoid函数输出pair是正例或负例的概率；S10: 利用均方差计算输出loss，使用梯度下降法使loss下降；S11: 重复S5到S10，直到loss收敛；S12: 全连接网络的权重矩阵即是所有词语的词向量构成的矩阵。