[发明专利]面向智能交互的句子对语义匹配方法和装置

权利要求书

1.一种面向智能交互的句子对语义匹配方法，其特征在于，该方法是通过构建并训练由多粒度嵌入模块、多级对齐匹配网络模块、特征增强模块和标签预测模块组成的句子对语义匹配模型，实现对句子信息的多级对齐匹配表示，从而获得上下文的深层语义信息和句子间的交互信息，通过一维最大池化和交互生成句子对的匹配张量并判定句子对的匹配度，达到句子对智能匹配的目标；具体如下：

多粒度嵌入模块对输入的句子以字粒度和词粒度分别进行嵌入操作，得到句子的多粒度嵌入表示；

多级对齐匹配网络模块对句子的多粒度嵌入表示进行编码操作，得到句子的多级对齐匹配网络表示；

特征增强模块对句子对的多级对齐匹配网络表示进行进一步地一维最大池化和特征交互操作，得到句子对的匹配向量；

标签预测模块将句子对的匹配张量映射为指定区间上的一个浮点型数值，将其作为匹配度与预设的阈值进行比较，根据比较结果，判定句子对的语义是否匹配；

所述多级对齐匹配网络模块的构建过程具体如下：

首先构建基本模块，而后构建由基本模块组成的多级对齐匹配网络模块；

构建基本模块：该模块的核心功能是实现基本的对齐匹配操作，是多级对齐匹配网络的基础组件；基本模块先将输入的两个张量进行点积运算得到非规格化的注意力权重矩阵e，公式如下：

e_ij＝a_i^Tb_j,i∈(1,...,l_a),j∈(1,...,l_b) (1)

其中，e表示注意力权利矩阵，e_ij表示张量1的第i个位置对张量2的第j个位置的注意力权重，a表示张量1，a_i表示张量1在第i个位置处的嵌入表示，l_a表示张量1的长度；b表示张量2，b_j表示张量2在第j个位置处的嵌入表示，l_b表示张量2的长度；

基本模块对注意力权重矩阵e进行规格化处理并进行对齐操作得到对齐结果，公式如下：

其中，e_ij是张量1的第i个位置对张量2的第j个位置的注意力权重；是对a_i的对齐结果，对应对齐结果1；同理，是对b_j的对齐结果，对应对齐结果2；a_i，b_j，l_a，l_b与公式(1)中的含义相同，此处不再赘述；

由于对齐结果2由输入的张量1计算所得，所以加强版对齐结果1为输入的张量1与对齐结果2的和，同理，由于对齐结果1由输入的张量2计算所得，所以加强版对齐结果2为输入的张量2与对齐结果1的和，公式如下：

其中，a、b分别表示输入的张量1、张量2所有分量的集合，即公式(1)中的张量1和张量2；分别表示公式(2)、(3)的对齐结果1、对齐结果2所有分量的集合；分别表示加强版对齐结果1、加强版对齐结果2所有分量的集合；

由基本模块构建多级对齐匹配网络模块：

多级对齐匹配网络模块的第一层编码结构双向长短期记忆网络BiLSTM1对多粒度嵌入模块输出的字嵌入表示和词嵌入表示分别进行编码操作以得到初步的第一层字编码结果和第一层词编码结果；具体来说，句子1的第一层字编码结果和第一层词编码结果的公式如下：

其中，和分别表示句子1在第i个位置处的字嵌入表示和在第j个位置处的词嵌入表示；和分别表示句子1在第i个位置处的第一层字编码结果和在第j个位置处的第一层词编码结果；l_a表示在字粒度下句子1的长度，l_b表示在词粒度下句子1的长度；

将句子1的第一层字编码结果和第一层词编码结果和送入一号基本模块进行第一次对齐匹配操作之句子1的字粒度和词粒度对齐匹配，得到加强版对齐结果集合和公式如下：

其中，e_ij表示句子1的字粒度与词粒度的注意力权重，和分别表示在字粒度下句子1的第i个位置处的对齐结果和在词粒度下句子1的第j个位置处的对齐结果；进行加强版对齐操作的公式如下：

其中，q1^c表示句子1的第一层字编码结果的集合，由公式(6)中的组成；q1^w表示句子1的第一层词编码结果的集合，由公式(7)中的组成；表示句子1字粒度对齐结果的集合，由公式(9)中的组成；表示句子1词粒度对齐结果的集合，由公式(10)中的组成；和分别表示句子1字粒度加强版对齐结果的集合与词粒度加强版对齐结果的集合；

相应地，句子2的第一层字编码结果和第一层词编码结果分别记为和将和送入二号基本模块进行第一次对齐匹配操作之句子2的字粒度和词粒度对齐匹配得到加强版对齐结果集合和与句子1的操作类似，只是更改为与句子2相关的操作，故在此不再赘述；

将句子1的字粒度和词粒度加强版对齐结果集合进行concatenate连接操作得到q1_concat，将句子2进行类似操作可得q2_concat，公式如下：

其中，q1_concat表示将句子1字粒度与词粒度加强版对齐结果连接后的集合，q2_concat表示将句子2字粒度与词粒度加强版对齐结果连接后的集合；表示公式(11)中的句子1字粒度加强版对齐结果的集合，表示公式(12)中的句子1词粒度加强版对齐结果的集合；的含义与类似，只是更改为与句子2相关的操作，在此不再赘述；

将q1_concat和q2_concat送入三号基本模块进行第二次对齐匹配操作，即进行句子1和句子2的对齐，得到加强版对齐结果集合q1'_align2和q2'_align2；

第二层编码结构BiLSTM2使用双向长短期记忆网络对句子1和句子2第二次对齐操作输出的加强版对齐结果集合q1'_align2和q2'_align2分别进行编码操作以得到第二层编码结果集合q1_bilstm2和q2_bilstm2，公式如下：

q1_bilstm2＝BiLSTM2(q1'_align2) (15)

q2_bilstm2＝BiLSTM2(q2'_align2) (16)

将上述经过BiLSTM2后的编码结果集合q1_bilstm2和q2_bilstm2送入四号基本模块进行第三次对齐匹配操作，得到最终的加强版对齐结果集合q1'_align3和q2'_align3。