[发明专利]基于交叉注意力机制的语义相似度匹配方法及其匹配装置

权利要求书

1.一种基于交叉注意力机制的语义相似度匹配方法，其特征在于，包括：

获取第一基础语句中的多个第一基础词，获取第二基础语句中的多个第二基础词；

对每个所述第一基础词和所述第二基础词进行词向量表征，得到多个第一基础向量和多个第二基础向量；

将所述多个第一基础向量和多个第二基础向量分别通过双向LSTM模型，得到多个第一拼接向量和多个第二拼接向量；其中所述第一拼接向量由所述第一基础向量通过双向LSTM模型后得到的第一向前输入向量和第一向后输入向量组合而成；所述第二拼接向量由第二基础向量通过双向LSTM模型后得到的第二向前输入向量和第二向后输出向量组合而成；

根据所述多个第一拼接向量生成第一拼接矩阵，所述第一拼接矩阵的列向量为所述第一拼接向量；根据所述多个第二拼接向量生成第二拼接矩阵，所述第二拼接矩阵的列向量为所述第二拼接向量；

用所述第二拼接矩阵中的所有列向量分别对所述第一拼接矩阵中的每个列向量进行交叉表征，得到第一表征矩阵；用所述第一拼接矩阵中的所有列向量分别对所述第二拼接矩阵中的每个列向量进行交叉表征，得到第二表征矩阵；

分别对所述第一表征矩阵和所述第二表征矩阵进行最大化处理，得到第一最大化矩阵和第二最大化矩阵；

将所述第一最大化矩阵和所述第二最大化矩阵拼接后输入全连接层和池化层，得到所述第一基础语句和所述第二基础语句的匹配值。

2.根据权利要求1所述的语义相似度匹配方法，其特征在于，所述词向量表征是通过word2vec模型得到的。

3.根据权利要求2所述的语义相似度匹配方法，其特征在于，将所述多个第一基础向量和多个第二基础向量分别通过双向LSTM模型，得到多个第一拼接向量和多个第二拼接向量的步骤包括：

将第i个第一基础向量经过双向LSTM模型后分别输出和其中是向前输入LSTM得到的第一向前输入向量，是向后输入LSTM得到的第一向后输入向量，则第一拼接向量为

将第i个第二基础向量经过双向LSTM模型后分别输出和其中是向前输入LSTM得到的第二向前输入向量，是向后输入LSTM得到的第二向后输入向量，则第二拼接向量为

4.根据权利要求3所述的语义相似度匹配方法，其特征在于：

用所述第二拼接矩阵中的所有列向量分别对所述第一拼接矩阵中的每个列向量进行交叉表征，得到第一表征矩阵的步骤包括：

计算第一拼接矩阵P中的第i个列向量p_i与第二拼接矩阵Q中的每一个列向量q_j的第一余弦相似度α_ij，并进行加权求和后得到P中的第i个列向量p_i在第二拼接矩阵Q中的第一表征向量p′_i：

其中N为列向量q_j的个数；

将所有的第一表征向量p′_i作为列向量形成第一表征矩阵P’；

用所述第一拼接矩阵中的所有列向量分别对所述第二拼接矩阵中的每个列向量进行交叉表征，得到第二表征矩阵的步骤包括：

计算第二拼接矩阵Q中的第i个列向量q_i与第一拼接矩阵P中的每一个列向量p_j的第二余弦相似度β_ij，并进行加权求和后得到Q中的第i个列向量q_i在第一拼接矩阵P中的第二表征向量q′_i：

其中N为列向量p_j的个数；

将所有的第二表征向量q′_i作为列向量形成第二表征矩阵Q’。