[发明专利]一种基于预训练神经网络的因果性问答对匹配方法

说明书

本发明公开了一种基于预训练神经网络的因果性问答对匹配方法，该方法首先利用预训练模型BERT对问题句子和候选答案句子进行编码得到相应的句子嵌入；然后模型通过卷积或链接方式充分利用句子嵌入的上下文信息，并根据问答句子对的分类特征、上下文的局部显著特征和整体特征得到问答句子对相关的因果特征；最后由全连接网络构成的分类器判断因果极性。本发明充分利用了预训练模型学到的上下文相关的编码信息，能捕获问答句子对编码的因果特征，在COPA和SOCIAL IQA两个关于因果性问答对的数据集上的匹配效果可以达到目前研究的先进水平。

技术领域

本发明属于因果性问答对匹配领域，尤其涉及一种基于预训练神经网络的因果性问答对匹配方法。

背景技术

现有技术仅仅利用预训练模型输出的一个分类标记来衡量问答句子对的匹配程度，这种方法往往考量的是两个句子的语义相似度，对于因果性的问答句子对匹配任务而言，仅利用分类标记作为特征向量不足以充分涵盖因果性信息。例如，给出一个句子A:“Ifelt exhausted.”，而要预测的下一句话有两个候选项，分别是，(a):“I went to bedearly.”；(b):“I stayed up all night.”，要求是在选项(a)和选项(b)中选择合理的一项作为句子A的结果(effect)。从语义相似性的角度上看选项(b)和句子A更加匹配，两者都有“我已经精疲力尽”的意思。但是在因果性匹配任务中，要求下一句话是“effect”的前提下，选项(a)显然更加合理，因为“累了就早点上床休息”更加符合人类的生活习性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于预训练神经网络的因果性问答对匹配方法。

本发明的目的是通过以下技术方案来实现的：一种基于预训练神经网络的因果性问答对匹配方法，包括以下步骤：

(1)构建因果性问答对分类网络：所述因果性问答对分类网络由输入层、编码层、特征提取层和分类层依次组成。

所述输入层将问题句子和候选答案句子的单词记号通过词典索引转化为词嵌入。

所述编码层将词嵌入输入预训练模型BERT；预训练模型BERT的最后一层隐藏层的输出包括问答句子对的分类特征和上下文相关的编码信息。

所述特征提取层根据预训练模型BERT输出的问答句子对的分类特征和上下文相关的编码信息，得到问答句子对相关的因果特征，使用卷积或链接的方式实现。

所述分类层为由全连接网络构成的分类器，根据问答句子对相关的因果特征输出候选答案句子的因果性匹配分数和非因果性匹配分数，两者之和为1。

(2)训练因果性问答对分类网络：输入问题句子和候选答案句子以及对应的因果极性匹配分数进行训练；因果极性包括因果性和非因果性。

(3)将待测的问答句子对输入步骤(2)训练的因果性问答对分类网络，计算出待测的问答句子对的因果极性匹配分数，获得因果极性判断结果。

进一步地，所述因果性问答对分类网络采用的优化函数为随机梯度下降，损失函数为交叉熵损失。

进一步地，所述编码层中，问答句子对的分类特征来源于预训练模型BERT的[CLS]所表示的分类嵌入。

进一步地，所述特征提取层中，将上下文相关的编码信息经过最大池化得到上下文的局部显著特征；将上下文相关的编码信息经过平均池化得到上下文的整体特征。

进一步地，所述特征提取层以卷积的方式实现时，相应的模型为因果性问答对分类卷积网络。特征提取层采用通道为3宽度为2的卷积核，将问答句子对的分类特征、上下文的局部显著特征和整体特征分别输入卷积核的三个通道，得到问答句子对相关的因果特征。

进一步地，所述因果性问答对分类卷积网络选择ReLU函数作为激活函数。