[发明专利]用于自动问答系统的分类模型训练、自动问答方法及装置

权利要求书

1.一种用于自动问答系统的分类模型训练方法，其特征在于，所述方法包括：

利用弱监督数据集对分类模型进行预训练，得到预训练分类模型，所述弱监督数据集中包括第一询问数据以及弱监督标签，所述弱监督标签从所述第一询问数据对应的回复数据中提取得到，所述第一询问数据以及所述回复数据从所述自动问答系统的人工问答记录中获取得到；

通过所述预训练分类模型对目标数据集进行分类，并基于分类结果确定所述目标数据集的目标损失，所述目标数据集中包含第二询问数据以及标注标签，所述标注标签是基于所述第二询问数据进行人工标注得到；

获取第t轮微调的第t目标损失，以及第t轮预训练的第t弱监督损失，t为正整数；

获取进行所述第t轮微调时目标损失函数的第一梯度，以及进行所述第t轮预训练时弱监督损失函数的第二梯度；

基于所述第一梯度和所述第二梯度的梯度比值，确定所述第t目标损失对应的第一损失权重和所述第t弱监督损失对应的第二损失权重，所述第一损失权重大于所述第二损失权重；

基于所述第t目标损失、所述第一损失权重、所述第t弱监督损失以及所述第二损失权重，确定所述第t轮微调的第t融合损失；基于所述融合损失对所述预训练分类模型进行微调，得到目标分类模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一梯度和所述第二梯度的梯度比值，确定所述第t目标损失对应的第一损失权重和所述第t弱监督损失对应的第二损失权重，包括：

确定所述第一梯度和所述第二梯度的梯度比值；

基于所述梯度比值和当前训练轮次，通过线性退火函数确定所述第一损失权重和所述第二损失权重，其中，所述第一损失权重与所述当前训练轮次呈正相关关系。

3.根据权利要求1所述的方法，其特征在于，所述获取进行所述第t轮微调时目标损失函数的第一梯度，以及进行所述第t轮预训练时弱监督损失函数的第二梯度，包括：

基于所述第t轮微调的所述第t目标损失以及第t-1轮微调的第t-1目标损失，确定进行所述第t轮微调时所述目标损失函数的所述第一梯度；

基于所述第t轮预训练的所述第t弱监督损失以及第t-1轮预训练的第t-1弱监督损失，确定进行所述第t轮预训练时所述弱监督损失函数的所述第二梯度。

4.根据权利要求1所述的方法，其特征在于，所述利用弱监督数据集对分类模型进行预训练，得到预训练分类模型，包括：

进行第i轮预训练时，将所述弱监督数据集中预设数量的所述第一询问数据输入所述分类模型，并基于分类结果和所述弱监督标签确定第i轮预训练的第i弱监督损失；

存储所述第i轮预训练的所述第i弱监督损失；

响应于所述第i轮预训练的所述第i弱监督损失不满足训练完成条件，调整所述分类模型的模型参数，并进行第i+1轮预训练；

响应于所述第i轮预训练的所述第i弱监督损失满足训练完成条件，停止预训练并得到所述预训练分类模型。

5.根据权利要求1至4任一所述的方法，其特征在于，所述利用弱监督数据集对分类模型进行预训练，得到预训练分类模型之前，所述方法还包括：

基于目标领域的知识图谱，从所述第一询问数据对应的所述回复数据中提取所述目标领域的实体词；

基于提取到的所述实体词为所述第一询问数据设置所述弱监督标签。

6.根据权利要求1至4任一所述的方法，其特征在于，

所述第一询问数据和所述第二询问数据为医学问题询问数据；

所述弱监督标签和所述标注标签为医学词汇标签。

7.一种自动问答方法，其特征在于，所述方法包括：

获取目标询问数据；

将所述目标询问数据输入目标分类模型，得到所述目标分类模型输出的目标分类标签，所述目标分类模型通过对分类模型进行预训练和微调得到；

基于所述目标分类标签生成所述目标询问数据对应的目标回复数据；

其中，所述目标分类模型采用权利要求1至6任一所述的用于自动问答系统的分类模型训练方法训练得到。