[发明专利]基于多角度交互的中文句子对语义智能匹配方法和装置

权利要求书

1.一种基于多角度交互的中文句子对语义智能匹配方法，其特征在于，该方法是通过构建并训练由多粒度编码模块、多角度交互模块、预测模块组成的中文句子对语义智能匹配模型；首先使用BiLSTM在字符和词语粒度上进行编码，而后利用注意力机制以及残差连接获得句内交互最终表示和句间交互最终表示，进行拼接和池化操作以提取关键特征生成两个句子的最终表示，最后通过多层感知机预测语义匹配度；具体如下：

多粒度编码模块接收以字符粒度和词语粒度切分的句子，并转化为相应的嵌入表示，然后使用BiLSTM长短期记忆网络对嵌入表示进行编码生成句子的初始上下文表示，并将句子的初始上下文表示传递给多角度交互模块；

多角度交互模块包含句间交互模块和句内交互模块；句间交互模块首先分别在字符粒度和词语粒度上，接受多粒度编码模块生成的句子的初始上下文表示，然后使用注意力机制生成句间相关表示，上述操作定义为Align-Add操作，之后使用残差连接将生成的句间相关表示和句子的初始上下文表示结合起来生成增强的句间相关表示，然后对字符粒度上增强的句间相关表示又进行了一次Align-Add操作，最后将Align-Add的输出和词语粒度上增强的句间相关表示进行拼接生成句间交互最终表示；句内交互模块首先使用残差连接将嵌入表示和句子的初始上下文表示进行连接，然后利用BiLSTM捕获时序特征，再将时序特征与嵌入表示进行拼接得到增强的时序特征，最后对增强的时序特征使用Align-Add操作以生成句内交互最终表示；得到句间交互最终表示、句内交互最终表示之后，将它们拼接起来并利用全局平均池化和最大池化提取关键特征，生成两个句子的最终表示；

预测模块首先对两个句子的最终表示进行绝对值减法操作，然后利用多层感知机预测两个句子的语义匹配程度，判断是否匹配。

2.根据权利要求1所述的基于多角度交互的中文句子对语义智能匹配方法，其特征在于，所述多粒度编码模块由字映射转换表、词映射转换表、输入层、字向量映射层、词向量映射层、编码模块组成，其构建过程具体如下：

构建字映射转换表，以数字1为起始，随后按照每个字被录入字表的顺序依次递增排序，从而形成所需的字映射转换表；

构建词映射转换表，以数字1为起始，随后按照每个词被录入词表的顺序依次递增排序，从而形成所需的词映射转换表；

构建输入层，输入层中包括四个输入，对于训练数据集中的每一个句子对或待预测的句子对，对其进行断字和分词预处理，分别获取sentence1_char、sentence2_char、sentence1_word和sentence2_word，其中后缀char、word分别表示对相应句子进行断字或分词处理而得，将其形式化为：(sentence1_char，sentence2_char，sentence1_word，sentence2_word)；对于输入句子中的每个字和词而言，都按照在之前构建完成的字映射转换表和词映射转换表将其转化为相应的数字标识；

构建字向量映射层，负责加载构建字映射转换表步骤中训练所得的字向量矩阵权重来初始化当前层的权重参数；句子对语义匹配断字处理知识库中每一个句子都可以通过字向量映射的方式，将句子信息转化为向量形式，即在字符粒度上的句子嵌入表示；

构建词向量映射层，负责加载构建词映射转换表步骤中训练所得的词向量矩阵权重来初始化当前层的权重参数；句子对语义匹配分词处理知识库中每一个句子都可以通过词向量映射的方式，将句子信息转化为向量形式，即在词语粒度上的句子嵌入表示；

构建编码模块，编码模块接收字向量映射层输出的嵌入表示和词向量映射层输出的嵌入表示作为输入，即其中Q表示句子1、A表示句子2、脚标c表示字符粒度、脚标w表示词语粒度；然后分别使用四个独立的BiLSTM长短期记忆网络对嵌入表示进一步编码，编码得到的结果与各自的原句子嵌入表示进行拼接；具体实施见下列公式：

其中作为多粒度编码层的输出；表示句子1字符粒度的初始上下文表示；表示句子1词语粒度的初始上下文表示；表示句子2字符粒度的初始上下文表示；表示句子2词语粒度的初始上下文表示；上标B用以标记编码模块的输出，无特殊含义；脚标c和脚标w的含义如前所述，不再赘述。

3.根据权利要求1或2所述的基于多角度交互的中文句子对语义智能匹配方法，其特征在于，所述多角度交互模块由句间交互模块、句内交互模块组成。