[发明专利]一种基于不定长上下文的词向量生成方法

摘要

一种基于不定长上下文的词向量生成方法。本发明涉及自然语言处理领域，特别涉及到基于不定长上下文的词向量生成方法。本发明的技术方案提出了一种不定长度的上下文划分策略和基于不定长上下文的词向量生成方法。这种策略利用标点符号把语料库划分成了长度不定，但语义完整的上下文。长度的不固定导致了传统的语言模型无法利用这种上下文生成词向量。为了应对这难题，本文结合卷积神经网络和循环神经网络设计了一个可以处理不定长上下文的语言模型F‑Model。经过实施结果分析，使用标点把语料库划分成语义完整的上下文可以提高词向量的质量。F‑Model具有良好的学习能力，实施得到的词向量蕴含丰富的语义和较好的线性关系。

主权项

一种基于不定长上下文的词向量生成方法，其特征在于，首先在对语料库进行预处理后，使用标点符号划分上下文，把语料库划分为长度不等，语义完整的上下文单元。然后利用卷积神经网络学习上下文中各词的权重，这权重随后和语料库的全局分布结合生成上下文中各词的最终权重。随后利用这最终权重和词向量计算上下文的向量表达。随后利用上下文的向量表达构建和上下文中每个词之间的一对多映射关系。随后通过随机梯度算法训练模型，并最终获得词向量。