[发明专利]一种基于预训练神经网络的因果性问答对匹配方法

权利要求书

1.一种基于预训练神经网络的因果性问答对匹配方法，其特征在于，包括以下步骤：

(1)构建因果性问答对分类网络：所述因果性问答对分类网络由输入层、编码层、特征提取层和分类层依次组成。

所述输入层将问题句子和候选答案句子的单词记号通过词典索引转化为词嵌入。

所述编码层将词嵌入输入预训练模型BERT；预训练模型BERT的最后一层隐藏层的输出包括问答句子对的分类特征和上下文相关的编码信息。

所述特征提取层根据预训练模型BERT输出的问答句子对的分类特征和上下文相关的编码信息，得到问答句子对相关的因果特征，使用卷积或链接的方式实现。

所述分类层为由全连接网络构成的分类器，根据问答句子对相关的因果特征输出候选答案句子的因果性匹配分数和非因果性匹配分数，两者之和为1。

(2)训练因果性问答对分类网络：输入问题句子和候选答案句子以及对应的因果极性匹配分数进行训练；因果极性包括因果性和非因果性。

(3)将待测的问答句子对输入步骤(2)训练的因果性问答对分类网络，计算出待测的问答句子对的因果极性匹配分数，获得因果极性判断结果。

2.根据权利要求1所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述因果性问答对分类网络采用的优化函数为随机梯度下降，损失函数为交叉熵损失。

3.根据权利要求1所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述编码层中，问答句子对的分类特征来源于预训练模型BERT的[CLS]所表示的分类嵌入。

4.根据权利要求1所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述特征提取层中，将上下文相关的编码信息经过最大池化得到上下文的局部显著特征；将上下文相关的编码信息经过平均池化得到上下文的整体特征。

5.根据权利要求4所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述特征提取层以卷积的方式实现时，相应的模型为因果性问答对分类卷积网络。特征提取层采用通道为3宽度为2的卷积核，将问答句子对的分类特征、上下文的局部显著特征和整体特征分别输入卷积核的三个通道，得到问答句子对相关的因果特征。

6.根据权利要求5所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述因果性问答对分类卷积网络选择ReLU函数作为激活函数。

7.根据权利要求4所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述特征提取层以链接的方式实现时，相应的模型为因果性问答对分类链接网络。特征提取层将问答句子对的分类特征、上下文的局部显著特征和整体特征依次串联拼接至同一个向量空间中，得到问答句子对相关的因果特征。

8.根据权利要求1所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，所述分类层采用softmax回归的方法。

9.根据权利要求1所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，步骤(2)中，训练时，具有因果性的候选答案句子对应的因果性匹配分数为1，非因果性匹配分数为0；不具有因果性的候选答案句子对应的因果性匹配分数为0，非因果性匹配分数为1。

10.根据权利要求9所述基于预训练神经网络的因果性问答对匹配方法，其特征在于，匹配分数较高的因果极性为候选答案句子的因果极性判断结果。