[发明专利]词向量生成方法、装置以及设备

说明书

本说明书实施例公开了词向量生成方法、装置以及设备。所述方法包括：获取对语料分词得到的各词，基于n元字符建立各词的特征向量，根据各词的特征向量，以及各词在语料中的上下文词的特征向量，对循环神经网络进行训练，根据各词的词向量和训练后的循环神经网络，生成各词的词向量。

技术领域

本说明书涉及计算机软件技术领域，尤其涉及词向量生成方法、装置以及设备。

背景技术

如今的自然语言处理的解决方案，大都采用基于神经网络的架构，而在这种架构下一个重要的基础技术就是词向量。词向量是将词映射到一个固定维度的向量，该向量表征了该词的语义信息。

在现有技术中，常见的用于生成词向量的算法比如包括：谷歌公司的词向量算法、微软公司的深度神经网络算法等。

基于现有技术，需要一种更准确的词向量生成方案。

发明内容

本说明书实施例提供词向量生成方法、装置以及设备，用以解决如下技术问题：需要一种更准确的词向量生成方案。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种词向量生成方法，包括：

获取对语料分词得到的各词；

根据所述各词对应的各n元字符，建立所述各词的特征向量，所述n元字符表征其对应的词的连续n个字符；

根据所述各词的特征向量，以及所述各词在所述语料中的上下文词的特征向量，对循环神经网络进行训练；

根据所述各词的特征向量和训练后的所述循环神经网络，生成所述各词的词向量。

本说明书实施例提供的一种词向量生成装置，包括：

获取模块，获取对语料分词得到的各词；

建立模块，根据所述各词对应的各n元字符，建立所述各词的特征向量，所述n元字符表征其对应的词的连续n个字符；

训练模块，根据所述各词的特征向量，以及所述各词在所述语料中的上下文词的特征向量，对循环神经网络进行训练；

生成模块，根据所述各词的特征向量和训练后的所述循环神经网络，生成所述各词的词向量。

本说明书实施例提供的另一种词向量生成方法，包括：

步骤1，建立通过对语料分词得到的各词构成的词汇表，所述各词不包括在所述语料中出现次数少于设定次数的词；跳转步骤2；

步骤2，确定各词对应的各n元字符的总数量，相同的n元字符只计一次，所述n元字符表征其对应的词的连续n个字符；跳转步骤3；

步骤3，根据所述各词对应的各n元字符，为各词分别建立维度为所述总数量的特征向量，所述特征向量的每维分别对应一个不同的n元字符，所述每维的取值表明其对应的n元字符是否对应于所述特征向量对应的词；跳转步骤4；

步骤4，遍历分词后的所述语料，对遍历到的当前词执行步骤5，若遍历完成则执行步骤6，否则继续遍历；

步骤5，以当前词为中心，向两侧分别滑动至多k个词建立窗口，将窗口中除当前词以外的词作为上下文词，并将所有上下文词的特征向量构成的序列输入循环神经网络的序列表示层进行循环计算，得到第一向量；将当前词以及在所述语料中选择的负样例词的特征向量输入所述循环神经网络的全连接层进行计算，分别得到第二向量和第三向量；根据所述第一向量、所述第二向量、所述第三向量，以及指定的损失函数，更新所述循环神经网络的参数；

所述循环计算按照如下公式进行：