[发明专利]问答模型的训练方法、计算机设备以及可读存储介质

权利要求书

1.一种问答模型的训练方法，其特征在于，所述训练方法包括：

采用长短期记忆神经网络、双向注意力机制以及全连接网络建立深度神经网络结构，以分别建立文本匹配模型和元学习模型，所述文本匹配模型和所述元学习模型具有相同的深度神经网络结构；

获取测试任务和多个不同的训练任务，对所述测试任务和每个所述训练任务中的问答对数据进行数据预处理，以将所述测试任务和每个所述训练任务中的问答对数据分别划分为两部分，作为所述训练任务的支撑集和查询集以及所述测试任务的支撑集和查询集；所述测试任务和所述训练任务均包括多个问答对数据，所述测试任务中的数据量少于所述训练任务的数据量，每个所述问答对数据包括问题和与所述问题相匹配的候选回答；

分别基于多个不同的所述训练任务各自的第一匹配损失来更新元学习模型的元网络参数，所述第一匹配损失用于表示多个不同的所述训练任务各自的文本匹配模型的匹配误差；其中，对于每个所述训练任务进行以下操作：初始化所述元学习模型的元网络参数；利用所述元网络参数生成所述文本匹配模型的初始参数；利用所述长短期记忆神经网络对所述问答对数据进行空间映射和语义学习，得到建模后的问答语句；利用所述双向注意力机制对所述问答语句进行语境交互与语义放缩，得到问题向量和回答向量；利用所述全连接网络基于所述问题向量和所述回答向量计算匹配分数；基于所述匹配分数计算得到所述文本匹配模型的第一匹配损失；基于所述第一匹配损失更新所述文本匹配模型的初始参数；当所有所述训练任务均完成训练后，基于所有所述训练任务的查询集计算所述元学习模型的训练损失，并基于所述训练损失更新所述元学习模型的元网络参数；

利用更新后的所述元网络参数生成所述文本匹配模型的初始参数，并使用所述测试任务对所述文本匹配模型进行训练以更新所述文本匹配模型的初始参数，将经过训练后所得到的所述文本匹配模型作为所述问答模型；

其中，通过如下公式计算所述文本匹配模型的第一匹配损失：

其中，L_f表示文本匹配模型的第一匹配损失，y_i为候选答案是否符合问题的标签，p_i为匹配分数，θ表示文本匹配模型中的初始参数，为用于防止过拟合的正则项。

2.根据权利要求1所述的训练方法，其特征在于，

所述当所有所述训练任务均完成训练后，基于所有所述训练任务的查询集计算所述元学习模型的训练损失，并基于所述训练损失更新所述元学习模型的元网络参数，包括：

利用如下公式计算所述元学习模型的训练损失：

其中，为所述元学习模型的训练损失，为在第i个所述训练任务的查询集上得到的第一匹配损失。

3.根据权利要求1所述的训练方法，其特征在于，

所述利用更新后的所述元网络参数生成所述文本匹配模型的初始参数，并使用所述测试任务对所述文本匹配模型进行训练以更新所述文本匹配模型的初始参数，将经过训练后所得到的所述文本匹配模型作为所述问答模型，包括：

利用更新后的所述元网络参数作为所述文本匹配模型的初始参数；

基于所述测试任务的支撑集计算所述文本匹配模型的第二匹配损失；

基于所述第二匹配损失更新所述文本匹配模型的初始参数；

将经过训练后所得到的所述文本匹配模型作为所述问答模型。

4.根据权利要求3所述的训练方法，其特征在于，

所述方法还包括：

基于所述测试任务的查询集计算所述问答模型对于每一个问答对数据的预测结果；

将所述预测结果作为问答对数据的匹配分数，进行匹配分数的降序排序；

基于所述匹配分数评估所述问答模型。

5.根据权利要求1所述的训练方法，其特征在于，

所述训练任务包括信息检索任务、社区问答任务和多轮对话任务。

6.一种计算机设备，其特征在于，所述计算机设备包括处理器以及与所述处理器连接的存储器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据，以实现如权利要求1-5任一项所述的训练方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用于实现如权利要求1-5任一项所述的训练方法。