[发明专利]基于文本预训练和多任务学习的金融风险预测方法及装置

权利要求书

1.一种基于文本预训练和多任务学习的金融风险预测方法，其特征在于，包括：

获取待处理文本，其中，所述待处理文本来自于互联网平台金融领域；

将所述待处理文本输入第一神经网络模型，以按照风险识别任务的处理流程确定所述待处理文本的内容是否包括金融风险，其中，所述第一神经网络模型是采用具有标记信息的训练数据对第二神经网络模型进行多任务的训练得到的，所述第二神经网络模型为结合金融预训练语言模型的多任务学习模型，所述金融预训练语言模型为利用多个无标注的预训练语料进行参数初始化后得到的预训练语言模型，所述多任务包括所述风险识别任务、风险分类任务及风险主体识别任务，所述标记信息用于标记所述训练数据的内容是否包括所述金融风险，在包括所述金融风险的情况下还用于标记所述金融风险的风险类型，并标记与所述风险类型匹配的风险主体；

在所述待处理文本的内容包括所述金融风险的情况下，利用所述第一神经网络模型按照所述风险分类任务的处理流程确定所述金融风险的风险类型；

利用所述第一神经网络模型按照所述风险主体识别任务的处理流程确定与所述风险类型匹配的风险主体。

2.根据权利要求1所述的方法，其特征在于，将所述待处理文本输入第一神经网络模型之前，所述方法还包括按照如下方式对所述第二神经网络模型进行所述多任务的训练，得到所述第一神经网络模型：

从训练数据池中随机确定一个批次的所述训练数据，其中，所述训练数据包括用于所述风险识别任务、所述风险分类任务及所述风险主体识别任务的训练数据；

将所述训练数据输入所述第二神经网络模型，并在所述第二神经网络模型的预训练参数的基础上继续训练所述第二神经网络模型的各项参数；

采用早停的训练方式，在所述第二神经网络模型对测试数据的识别准确度达到最优值的情况下，将所述第二神经网络模型作为所述第一神经网络模型；

在所述第二神经网络模型对所述测试数据的识别准确度未达到所述最优值的情况下，继续使用所述训练数据对所述第二神经网络模型进行训练，以调整所述第二神经网络模型内各网络层中的参数的数值，直至所述第二神经网络模型对所述测试数据的识别准确度达到所述最优值。

3.根据权利要求2所述的方法，其特征在于，将所述训练数据输入所述第二神经网络模型之前，所述方法还包括按照如下方式利用无标注的所述预训练语料对深度双向语言模型进行预训练，得到所述金融预训练语言模型：

获取所述预训练语料，其中，所述预训练语料来自于互联网平台金融领域；

按照第一预训练语言模型的输入要求对所述预训练语料进行预处理，其中，所述第一预训练语言模型为所述深度双向语言模型，所述第一预训练语言模型为基于通用领域语料进行预训练得到的预训练语言模型；

利用经过预处理的所述预训练语料对所述第一预训练语言模型进行预训练；

在所述第一预训练语言模型在目标预训练任务上的性能达到目标性能阈值的情况下，将所述第一预训练语言模型作为所述金融预训练语言模型；

在所述第一预训练语言模型在所述目标预训练任务上的性能未达到最优值的情况下，继续使用所述预训练语料对所述第一预训练语言模型进行预训练，以调整所述第一预训练语言模型内各网络层中的参数的数值，直至所述第一预训练语言模型在所述目标预训练任务上的性能达到最优值。

4.根据权利要求3所述的方法，其特征在于，将所述训练数据输入所述第二神经网络模型之前，所述方法还包括按照如下方式结合所述金融预训练语言模型，得到所述第二神经网络模型：

在所述金融预训练语言模型的输出层分别添加用于所述风险识别任务、所述风险分类任务及所述风险主体识别任务的输出层，得到所述第二神经网络模型。

5.根据权利要求2所述的方法，其特征在于，从训练数据池中随机确定一个批次的所述训练数据之前，所述方法还包括按照如下方式构建所述训练数据池：

按照预设的每个批次的数据量大小将用于所述风险识别任务、所述风险分类任务及所述风险主体识别任务的所述训练数据划分为多个批次；

将所有批次的所述训练数据进行无序混合，得到所述训练数据池。