[发明专利]一种神经网络自适应输出层的设计方法、设备及存储介质

说明书

本发明公开了一种神经网络自适应输出层的设计方法、设备以及储存介质，所述方法包括以下步骤：S1，建立神经网络，对于神经网络进行网络参数初始化，初始化参数字典；S2，网络训练，开始神经网络的前向传播与反向传播，基于当前数据集训练神经网络；S3，当神经网络的输出层维度需要根据任务扩展时，参数字典新增一个元素，并将其初始化为输出层其他神经元参数的平均值；当神经网络的输出层维度需要根据任务减少时，参数字典删除对应的元素。所述神经网络自适应输出层的设计方法实现了网络输出层维度的动态变化，完成神经网络知识的迁移利用，减少重复训练。

技术领域

本发明涉及人工智能领域，具体涉及神经网络的训练，尤其是一种神经网络自适应输出层的设计方法、设备及存储介质。

背景技术

现有技术中存在模型Net2WiderNet，Net2WiderNet被提出的初衷在于加速知识在不同任务网络之间的迁移，利用训练好的参数加速更深或更广的神经网络的训练。Net2WiderNet将原有的神经网络中某一层变宽，即增加某层的神经元数量，在网络变宽的同时，通过改变新增神经元与网络上下层的连接参数实现前后两个不同结构的神经网络输入相同数据得到相同的输出。在代码实现方面，首先定义了一个神经网络并训练其解决某一任务，训练完成之后的神经网络参数被迁移到另一任务中更宽的神经网络结构中，新增的神经元参数的赋值则根据任务决定，如图1所示，图中右侧的网络新增的神经元参数被赋值为邻居神经元数值的二分之一，以便在输入与左侧网络相同的数据时，可获得相同的输出。然而，像Net2WiderNet这种知识迁移的方法仍然属于不同网络之间的离线迁移，只能用在较为相似的多个任务中，无法实现在同一个训练任务中，神经网络层在线变宽的效果。例如在采用监督学习进行分类任务训练中，当数据集扩充时，产生了新的分类标签，这种情况下迁移学习只能将原有的神经网络参数迁移到另一个结构相同的神经网络，因此通常的做法为舍弃原有的神经网络网络参数，从零开始训练一个输出层维度更大的神经网络。这种方法没有利用原有神经网络的知识，增加了训练开销，造成了一定的资源浪费。也就是当神经网络的输出层维度随着任务的需要发生改变时，输出层维度需要增加或减少的情况下，只能重新设计网络结构以及从零开始训练。

目前，在神经网络的自适应输出层维度方面需要增加或减少的情况下，尚未出现更有效的解决方案。本发明的目的在于：在输出层维度有所变化的任务中，在输出层维度需要增加或减少的情况下实现同一神经网络模型的在线动态学习，减小训练开销。

发明内容

针对现有技术存在的问题，本发明的目的在于解决在神经网络训练过程中，输出神经元数量无法动态变化的问题。本发明提出一种自适应输出层神经元数量的神经网络，实现网络输出层维度的动态变化，完成神经网络知识的迁移利用，减少重复训练。

根据本发明的一种神经网络自适应输出层的设计方法，所述方法包括以下步骤：S1，建立神经网络，对于神经网络进行网络参数初始化，初始化参数字典；S2，网络训练，开始神经网络的前向传播与反向传播，基于当前数据集训练神经网络；S3，当神经网络的输出层维度需要根据任务扩展时，参数字典新增一个元素，并将其初始化为输出层其他神经元参数的平均值；当神经网络的输出层维度需要根据任务减少时，参数字典删除对应的元素。

进一步，在步骤S1中，定义神经网络指设置网络的层数，每层的神经元数量，激活函数；字典是python提供的一种用来存储具有映射关系数据的数据类型，包括key和value两个部分，存储了训练过程中输出层新增神经元的索引以及其与上层隐藏层之间的网络参数，参数字典的初始化指初始化一个 python字典，其中key和value部分的数据均设置为空。

进一步，步骤S2中，网络的输出为初始神经网络的输出与其后新增神经元输出的联接。初始神经网络的输出由初始网络的前向传播得到：s代表神经网络的层数，K为输出层相邻上层的维度，w指网络中单个神经元的参数，f为输出层最终的激活函数。新增神经元部分的输出通过遍历参数字典中的所有新增神经元的参数，将其分别与上层神经元参数作矩阵乘法运算得到，即：其中σ表示参数字典，σ_j表示参数字典中第j个新增神经元的参数。