[发明专利]基于结合语义特征的同义判别模型的训练方法及设备

摘要

本发明的目的是提供一种基于结合语义特征的同义判别模型的训练方法及设备，针对单一模型存在的缺点，本发明提出一种将两种方法结合起来的模型，充分利用二者的优势，弥补各自的不足。本发明通过结合卷积神经网络和循环神经网络所提取的特征，挖掘自然语言的深度语义，提高机器判别两句话相似度的准确率。同时，本发明在卷积神经网络提取特征的过程中引入了注意力机制，使得每个字/词能定位到另一句中的对应部分。相比于已有的方案，通过以上方法提取的特征能够更好地反映两个句子的深层语义，从而提高同义判别的准确率。

主权项

1.一种基于结合语义特征的同义判别模型的训练方法，其中，该方法包括：将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；对所述句子对进行统计分析，以提取所述句子对的统计特征；将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。