[发明专利]具有强化学习功能的问答语料学习方法

说明书

本发明公开了一种具有强化学习功能的问答语料学习方法，包括以下步骤：通过模型A接收用户输入的若干问题并针对该若干问题分别输出相对应的答案；将用户输入的若干问题中的每个问题和其对应的答案组成问答对；通过模型B对若干问答对进行打分；通过打分后的若干问答对对模型A进行增量学习。本发明提供的具有强化学习功能的问答语料学习方法能够通过强化学习自动训练调整更新模型A，实现模型A的持续性自我微调、自我完善以及自我学习，这样既能够优化针对问题输出的答案，有能够节省大量人工标注，节省劳动力成本。

技术领域

本发明涉及一种具有强化学习功能的问答语料学习方法。

背景技术

现阶段在智能问答领域，核心方法是通过人工从大规模聊天语料中标注少量样本，并构建模型进行学习。该方法需要耗费大量的人工劳动力，并且泛化性低，不能与热点时效保持一致。

发明内容

本发明提供了一种具有强化学习功能的问答语料学习方法，采用如下的技术方案：

一种具有强化学习功能的问答语料学习方法，包括以下步骤：

通过模型A接收用户输入的若干问题并针对该若干问题分别输出相对应的答案；

将用户输入的若干问题中的每个问题和其对应的答案组成问答对；

通过模型B对若干问答对进行打分；

通过打分后的若干问答对对模型A进行增量学习。

进一步地，通过打分后的若干问答对对模型A进行增量学习的具体方法为：

将若干问答对中打分值高于第一预设值的问答对作伪标签直接参与到模型A的增量学习中；

将若干问答对中打分值低于第二预设值的问答对置为负样本参与到模型A的增量学习中。

进一步地，模型B对若干问答对进行打分的分值区间为0至1。

进一步地，第一预设值为0.8；第二预设值为0.2。

进一步地，模型A在增量学习过程中，模型A对该若干问题分别重新输出相对应的答案以组成新问答对；模型B对新问答对进行评分并得到平均分score1；根据如下公式得到惩罚系数W，并将惩罚系数W作用于模型A的损失函数Loss_A上,得到新损失函数Loss_new以指导模型A进行梯度回传，更新模型A的参数：

W＝-ln(score1),

Loss_new＝loss_A*W。

进一步地，在通过模型A接收用户输入的若干问题并针对该若干问题分别输出相对应的答案之前，具有强化学习功能的问答语料学习方法还包括：

训练一个用于识别用户意图并反馈答案的模型A；

训练一个用于对模型A的输出进行打分的模型B。

进一步地，模型A的增量学习时间设置为每日零点至五点执行。

进一步地，模型A的增量学习时间设置为每日两点至四点执行。

进一步地，模型A的增量学习周期小于7天。

进一步地，模型A的增量学习周期为1天。

本发明的有益之处还在于所提供的具有强化学习功能的问答语料学习方法根据线上大规模语料的问答数据的输入，针对这些问答数据能够实现模型A的自我学习和更新，从而能够持续自动地优化问题的匹配答案。也就是说，该方法能够通过强化学习自动训练调整更新模型A，实现模型A的持续性自我微调、自我完善以及自我学习，这样既能够优化针对问题输出的答案，有能够节省大量人工标注，节省劳动力成本。