[发明专利]基于实时学习的融合型词义嵌入方法

权利要求书

1.基于实时学习的融合型词义嵌入方法，其特征在于，包括下列步骤：

步骤1：设置神经网络语言模型；

所述神经网络语言模型的网络结构包括输入层、投影层；

其中，输入层，用于获取当前词k在预置的词向量矩阵V中的对应向量V(k)；

投影层，用于对当前词k进行判断，若其为单义词，则做恒等投影，投影层输出X(k)＝V(k)；若其为多义词，则通过基于实时学习的词义识别算法getCenter(k,h)获取其对应的词义向量C(k,h)，投影层输出X(k)＝C(k,h)，其中h表示当前词k的环境向量；

步骤2：基于预设的训练样本集对步骤1构建的神经网络语言模型进行神经网络学习训练；当满足预设的训练需求时，停止并保存训练好的神经网络语言模型；

步骤3：将待进行词义嵌入处理的词输入训练好的神经网络语言模型，基于其投影输出得到当前待进行词义嵌入处理的词的词义向量；

基于实时学习的词义识别算法getCenter(k,h)的具体处理过程为：

判断表示聚类中心集合的集合O中是否存在多义词k对应的聚类中心，若不存在任何对应聚类中心，则为多义词k生成新的聚类中心，并将环境向量h添加至该新的聚类中心中；

若存在对应多义词k的聚类中心，则分别计算环境向量h与各对应的聚类中心的距离，并将查找环境向量h与各对应的聚类中心的距离的最小值，记为min(L)，若min(L)小于最小距离阈值δ，则生成新的对应多义词k的聚类中心并将环境向量h添加到该新生成的聚类中心中；否则将环境向量h并入min(L)对应的聚类中心，得到新的聚类中心其中O_ki表示min(L)对应的聚类中心；

基于环境向量h所在的聚类中心对应的词义向量C_ki得到词义向量C(k,h)。

2.如权利要求1所述的方法，其特征在于，步骤2中，在训练时，在神经网络语言模型增加输出层，采用哈夫曼Huffman树结构，以预置的词典D中的词汇作为Huffman树的叶子节点，Huffman树中的非叶子节点表示神经网络的参数，用于输出在投影层输出X(k)下出现待预测词g的概率。