[发明专利]一种面向智能问答系统的自然语言推理方法

权利要求书

1.一种面向智能问答系统的自然语言推理方法，其特征在于：包括如下步骤：

S1：将用户前后输入的两个句子中的每一个词转换成预训练的词向量，根据词向量将每个句子都表示为矩阵X^inf；

S2：将矩阵X^inf分别通过正向时序运算和反向时序运算，并将两次运算的结果进行拼接，得到矩阵H^enc；

S3：对矩阵H^enc中的所有列向量只保留最大值，得到向量v^mp，同时将矩阵H^enc进行多维加权平均得到向量v^mda，将向量v^mp和向量v^mda进行拼接得到向量v；

S4：根据向量v，获得需要判断关系的两个句子所对应的向量v₁和向量v₂，将向量v₁和向量v₂进行句意融合，得到向量m；

S5：将向量m通过多次矩阵运算转化为一个多维向量，此多维向量中每个元素分别代表句子间对应关系的概率，选择最大的元素所对应的关系作为最后的结果；

所述步骤S2中的正向时序运算是对矩阵的每一列向量按照从左到右的顺序依次进行如下计算：

c_t＝i_t⊙s_t+f_t⊙c_t-1

其中，为矩阵X^inf第t列的列向量，在每次计算完成后将会得到记录信息的两个向量c_t、这两个向量将参与下一次的运算，在每次计算中，都会得到四个中间向量f_t、i_t、o_t、s_t，在计算中间向量时，W^f、Wⁱⁿ、W^o、W^s分别为生成中间向量时对输入向量的权重转移矩阵，U^f、Uⁱⁿ、U^o、U^s分别为生成中间向量时对前一次运算得到的向量c_t-1的权重转移矩阵，b^f、bⁱⁿ、b^o、b^s分别为计算中间向量时添加的偏置向量，σ、ta为激活函数，exp表示指数函数，⊙表示将参与运算向量中同一位置的元素进行相乘并得到一个同样维度的向量的运算，将每次计算所得到的依次排序，将得到正向时序运算的矩阵；

所述步骤S2中的反向时序运算，需要将X^inf中的列向量按照的顺序反向排列，然后将反向排列过的矩阵中的列向量按从左到右的顺序依次进行运算获取到输出向量；

所述步骤S3中将矩阵H^enc进行多维加权平均得到向量v^mda的具体运算过程为：

A＝W^bσ(W^aH^enc+b^a)+b^b

首先将H^enc通过两次矩阵运算得到维度与H^enc相同的权重矩阵A，W^a、W^b分别为两次运算的权重转移矩阵，b^a、b^b为偏置向量，σ为激活函数，在得到权重矩阵A后，将其每一行向量进行指数归一化运算，得到H^enc中每一个元素所对应的权重p(a_ij)，而p_·j表示第j列元素所对应的权重所组成的权重向量，a_ij为矩阵A中第i行第j列的元素，n为矩阵A的列数，为H^enc第j列的列向量，exp表示指数运算，v^mda为多维加权平均后所得到的向量；

所述步骤S4中向量v₁和向量v₂进行句意融合的过程为：首先将向量v₁和向量v₂做逐一元素的绝对值减法得到|v₁-v₂|，再将二者做逐一元素的乘法得到v₁⊙v₂，然后把v₁,v₂,|v₁-v₂|,v₁⊙v₂进行拼接，得到向量m；

所述步骤S5中向量m通过两次矩阵运算转化为一个三维向量，此三维向量中每个元素分别代表句子间关系为蕴含、矛盾、无关的概率。