[发明专利]一种词向量训练方法及系统

摘要

本发明适用计算机技术领域，提供了一种词向量训练方法及系统，在该方法中，对训练样本文档中每个训练目标词执行词向量训练步骤时，获取训练目标词在训练样本文档中上下文窗口内的窗口词，使用Skip‑gram模型预测每个窗口词的出现概率，更新窗口词在词向量库中对应的词向量和Huffman树中训练目标词对应编码路径中每一个非叶子节点对应的中间向量，通过预设的公式更新训练样本文档的全局文本向量，并计算CBOW模型的递增式局部输入向量，进而计算CBOW模型的混合拼接向量，将混合拼接向量设置为CBOW模型投影层的输入，使用CBOW模型预测训练目标词的出现概率，最后更新训练目标词的词向量和Huffman树中每一个非叶子节点对应的中间向量，提高了训练目标词词向量的准确度。

主权项

1.一种词向量训练方法，其特征在于，所述方法包括下述步骤：预先构建包括训练目标词的词典，对所述训练目标词的词向量和Huffman树中的所有非叶子节点对应的中间向量进行初始化，所述训练目标词的词向量形成一词向量库；对预设的训练样本文档进行扫描，对扫描到的每个所述训练目标词执行预设的词向量训练步骤，以得到每个训练目标词的词向量；所述词向量训练步骤包括：获取所述训练目标词在所述训练样本文档中上下文窗口内的窗口词，使用Skip‑gram模型预测每个所述窗口词的出现概率，更新所述窗口词在所述词向量库中对应的词向量和所述Huffman树中所述训练目标词对应编码路径中每一个非叶子节点对应的中间向量；根据更新后的所述窗口词的词向量，通过预设的公式更新所述训练样本文档的全局文本向量，并计算CBOW模型的递增式局部输入向量；根据更新后的全局文本向量和所述递增式局部输入向量，计算所述CBOW模型的混合拼接向量，将所述混合拼接向量设置为所述CBOW模型投影层的输入；使用所述CBOW模型预测所述训练目标词的出现概率，更新所述训练目标词的词向量和所述Huffman树中每一个非叶子节点对应的中间向量。