[发明专利]基于迭代网络组合的情感分类持续学习方法及存储介质

说明书

本申请公开了基于迭代网络组合的情感分类持续学习方法及存储介质，本申请提出的方法线性组合原始网络和微调网络，对中间网络进行权重组合参数的初始化；并基于原始组合参数、微调组合参数和组合初始化参数重训练中间网络，得到优化权重组合参数；将中间网络等价转换为最终组合网络，该最终组合网络在学习下一个新任务时作为新的原始网络；该优化权重组合参数作为下一个新任务原始网络的原始组合参数。本申请公开的基于情感分类持续学习方法在不增加网络规模下，避免了BERT模型在情感分类持续学习过程中对先前的知识发生灾难性遗忘的问题。

技术领域

本申请涉及基于文本情感分类技术领域，具体是基于迭代网络组合的情感分类持续学习方法及存储介质。

背景技术

预训练语言模型，如GPT，BERT，XLNet等，已被提议并应用于许多自然语言处理任务，包括情感分类任务。而BERT最初是为了从未标记的文本中预训练深度双向表示，通过联合使用所有层的左、右上下文进行预测。

然而，当BERT模型被运用于情感分类任务的持续学习时，主要存在以下几个方面的技术缺陷：其一、舍弃了已经花费大量时间训练的旧情感分类模型；其二、旧情感分类模型和旧任务的数据需要循环不断地进行存储，占用大量的存储资源；三、如果再次使用之前训练好的旧情感分类模型来适更新后的数据时，会使模型对旧领域的任务出现灾难性遗忘。

有鉴于此，提供一种在不增加网络规模的情况下，能够保留原始网络性能，加快后续任务的学习进度的迭代网络组合的情感分类模型的学习方法成为必要。

发明内容

为了能够保留原始网络性能，在不增加网络规模的情况下，加快后续任务的持续学习效率，本申请提供一种基于迭代网络组合的情感分类持续学习方法及存储介质。

本申请提供的一种基于迭代网络组合的情感分类持续学习方法及存储介质采用如下的技术方案：包括以下步骤：

将来自于多个数据源的训练数据以BERT为网络模型，建立原始网络；当获取到需要进行文本信息情感分类的新任务时；

以BERT为网络模型，将原始网络适应新任务，得到微调网络；

获取原始网络中的原始组合参数，并训练微调网络获取微调组合参数；

冻结原始组合参数和微调组合参数；

线性组合原始网络和微调网络，得到中间网络；

对中间网络进行权重组合参数的初始化，获得组合初始化参数；

获取中间网络中的原始组合参数和微调组合参数；

基于原始组合参数、微调组合参数和组合初始化参数重训练中间网络，得到优化权重组合参数；

将中间网络等价转换为最终组合网络，该最终组合网络在学习下一个新任务时作为新的原始网络；该优化权重组合参数作为下一个新任务原始网络的原始组合参数。

本申请提出的一种基于迭代网络组合的情感分类的持续学习方法，将中间网络的结构组合等价转换成权重组合参数的形式，得到最终组合网络，使得最终组合网络和原始网络保持相同结构和规模，从而可以将最终组合网络作为下一个新任务学习时的原始网络，基于原始网络的下一个最终组合网络也能再作为原始网络，依此循环，形成网络的持续学习。在网络组合等过程中，始终保存着原始网络、微调网络以及最终组合网络的权重组合参数，基于它的迭代网络组合的情感分类模型的持续学习过程中。每一次的新任务，基于在先原始网络，避免了对原始网络进行重复的训练，提高了网络训练效率，节约网络资源，本申请对网络模型进行了转换，保持相同的网络规模和网络模型，在网络的持续学习过程中，保证了持续学习能力，使得本申请具有明显的优越性。