[发明专利]基于迭代网络组合的情感分类持续学习方法及存储介质

权利要求书

1.一种基于迭代网络组合的情感分类持续学习方法，其特征在于，包括以下步骤：

将来自于多个数据源的训练数据以BERT为网络模型，建立原始网络；当获取到需要进行文本信息情感分类的新任务时；

以BERT为网络模型，将原始网络适应新任务，得到微调网络；

获取原始网络中的原始组合参数，并训练微调网络获取微调组合参数；

冻结原始组合参数和微调组合参数；

线性组合原始网络和微调网络，得到中间网络；

对中间网络进行权重组合参数的初始化，获得组合初始化参数；

获取中间网络中的原始组合参数和微调组合参数；

基于原始组合参数、微调组合参数和组合初始化参数重训练中间网络，得到优化权重组合参数；

将中间网络等价转换为最终组合网络，该最终组合网络在学习下一个新任务时作为新的原始网络；该优化权重组合参数作为下一个新任务原始网络的原始组合参数。

2.根据权利要求1所述的基于迭代网络组合的情感分类持续学习方法，其特征在于，步骤线性组合原始网络和微调网络中，通过结构线性组合中的残差运算来连接原始网络和微调网络，结构组合线性变换LT_sc的变换式为：

LT_sc(x)＝LT_o(x)+α_o⊙LT_o(x)+α_f⊙LT_f(x)

＝W_ox+α_o⊙(W_ox)+α_f⊙(W_fx)；

通过线性组合原始网络和微调网络得到中间网络，得到的中间网络包括原始网络线性变换权重参数α_o和微调网络线性变换权重参数α_f，原始网络线性变换权重参数α_o和微调网络线性变换权重参数α_f组合得到线性变换的中间网络参数(α_o，α_f)；

其中，输入特性为LT_o和LT_f分别为原始网络和微调网络的线性变换的输出式；⊙表示元素级别的乘积；d_j表示线性变换的输出维数，d_i表示线性变换的输入维数；W_o表示线性变换LT_o权重参数，W_f表示线性变换LT_f权重参数，α_o，α_f为权重组合参数，

3.根据权利要求2所述的基于迭代网络组合的情感分类持续学习方法，其特征在于，在步骤线性组合原始网络和微调网络中，通过结构组合层归一化中的均值和方差运算来连接原始网络和微调网络，其结构组合层归一化LN_sc转换式为：

通过层归一化组合原始网络和微调网络得到中间网络；层归一化组合得到的中间网络包括原始网络层归一化权重参数β_o和微调网络线层归一化重参数β_f，层归一化权重参数β_o和微调网络线层归一化重参数β_f组合为层归一化后的中间网络参数(β_o，β_f)；

其中，LN_o为在原始网络的层归一化运算；LN_f表示在微调网络的层归一化运算；g_o是原始网络中层归一化仿射变换的可学习参数，g_f是微调网络中层归一化仿射变换的可学习参数，μ是输入隐藏表示x的平均值，σ是输入隐藏表示x的标准偏差，β_o，β_f为权重组合参数，