[发明专利]基于交叉注意力机制的语义相似度匹配方法及其匹配装置

说明书

本发明提供一种基于交叉注意力机制的语义相似度匹配方法、装置、计算机设备及存储介质，适用于语音交互技术领域，能够实现在语义层面上对两个语句进行交叉表征。本发明首先通过word2vec对两个语句中的每个分词进行词向量表征，分别通过双向LSTM后得到两个拼接矩阵，进而使两个拼接矩阵之间相互进行交叉表征，得到任意句子中的每个分词相对于另一个句子的重要程度。在此基础上再进行最大化处理并输入全连接层，最终获取两个语句之间的匹配度得分。本发明提出的上述方案克服了现有技术中单独使用LSTM或者交互式匹配时存在的局限性，使得两个语句之间的匹配度计算更为精确完整，趋近真实情境。

技术领域

本发明涉及语音交互技术领域，尤其涉及一种基于交叉注意力机制的语义相似度匹配方法、装置、计算机设备及存储介质。

背景技术

目前公认的基于深度学习的语义相似度匹配方法包括：1)Siamese结构，即先将两个句子或文本分别通过卷积神经网络(CNN)、LSTM等神经网络进行表征得到两个句子向量，再进行相似度计算；2)交互式匹配的方法，即先将两个句子的词向量之间进行内积操作，得到一个三维矩阵作，再输入CNN、LSTM等神经网络中。然而Siamese结构仅对两个句子进行独立的表征，未能精确表征两者之间的交互关系。另一方面，交互式匹配的方法仅考虑到点对点的内积操作，仅能够表达两个句子间的局部相关性，无法有效地进行语义关系的表征。

发明内容

本发明的目的是提供一种基于交叉注意力机制的语义相似度匹配方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。

为实现上述目的，本发明提供一种基于交叉注意力机制的语义相似度匹配方法，包括：

获取第一基础语句中的多个第一基础词，获取第二基础语句中的多个第二基础词；

对每个所述第一基础词和所述第二基础词进行词向量表征，得到多个第一基础向量和多个第二基础向量；

将所述多个第一基础向量和多个第二基础向量分别通过双向LSTM模型，得到多个第一拼接向量和多个第二拼接向量；其中所述第一拼接向量由所述第一基础向量通过双向LSTM模型后得到的第一向前输入向量和第一向后输入向量组合而成；所述第二拼接向量由第二基础向量通过双向LSTM模型后得到的第二向前输入向量和第二向后输出向量组合而成；

根据所述多个第一拼接向量生成第一拼接矩阵，所述第一拼接矩阵的列向量为所述第一拼接向量；根据所述多个第二拼接向量生成第二拼接矩阵，所述第二拼接矩阵的列向量为所述第二拼接向量；

用所述第二拼接矩阵中的所有列向量分别对所述第一拼接矩阵中的每个列向量进行交叉表征，得到第一表征矩阵；用所述第一拼接矩阵中的所有列向量分别对所述第二拼接矩阵中的每个列向量进行交叉表征，得到第二表征矩阵；

分别对所述第一表征矩阵和所述第二表征矩阵进行最大化处理，得到第一最大化矩阵和第二最大化矩阵；

将所述第一最大化矩阵和所述第二最大化矩阵拼接后输入全连接层和池化层，得到所述第一基础语句和所述第二基础语句的匹配值。

进一步，所述词向量表征是通过word2vec模型得到的。

进一步，将所述多个第一基础向量和多个第二基础向量分别通过双向LSTM模型，得到多个第一拼接向量和多个第二拼接向量的步骤包括：

将第i个第一基础向量经过双向LSTM模型后分别输出和其中是向前输入LSTM得到的第一向前输入向量，是向后输入LSTM得到的第一向后输入向量，则第一拼接向量为

将第i个第二基础向量经过双向LSTM模型后分别输出和其中是向前输入LSTM得到的第二向前输入向量，是向后输入LSTM得到的第二向后输入向量，则第二拼接向量为