[发明专利]神经网络处理方法、装置、电子设备及存储介质

权利要求书

1.一种神经网络处理方法，其特征在于，所述方法包括：

从初始神经网络中确定待处理的原始卷积层，所述原始卷积层包括多个卷积核，每个卷积核对应所述原始卷积层的一个输出通道；

为所述原始卷积层设置激活函数选择器，并为所述原始卷积层的每个输出通道配置多个候选激活函数；

训练所述激活函数选择器，并利用训练完成的激活函数选择器，从每个输出通道对应的多个候选激活函数中，确定该输出通道的目标激活函数；所述激活函数选择器中包括多组选择参数，每组选择参数对应所述原始卷积层的一个输出通道；

根据多个输出通道各自的目标激活函数的类型，将所述原始卷积层的多个卷积核划分为多个卷积分支，其中，同一卷积分支中的各个卷积核所对应的输出通道的目标激活函数的类型相同；

其中，所述确定该输出通道的目标激活函数的步骤，包括：

将样本数据输入所述神经网络，通过所述神经网络和所述激活函数选择器对所述样本数据进行处理，获得所述神经网络输出的预测结果，并根据所述预测结果对所述激活函数选择器中的各组选择参数进行更新；

在对各组选择参数进行多轮更新后，针对所述原始卷积层的每个输出通道，根据该输出通道对应的当前选择参数，确定该输出通道的多个候选激活函数各自的权重，并将权重最大的候选激活函数确定为该输出通道的目标激活函数。

2.根据权利要求1所述的方法，其特征在于，每个输出通道的多个候选激活函数中，包括线性激活函数和非线性激活函数；所述根据多个输出通道各自的目标激活函数的类型，将所述原始卷积层的多个卷积核划分为多个卷积分支的步骤，包括：

根据多个输出通道各自的目标激活函数的类型，将所述原始卷积层的多个卷积核划分为第一卷积分支和第二卷积分支，其中，第一卷积分支中的各个卷积核所对应的输出通道的目标激活函数均为非线性激活函数，第二卷积分支中的各个卷积核所对应的输出通道的目标激活函数均为线性激活函数。

3.根据权利要求2所述的方法，其特征在于，在训练所述激活函数选择器之前，所述方法还包括：

在所述激活函数选择器后增设附加卷积层，所述附加卷积层包括多个卷积核，每个卷积核包括多个子卷积核，所述附加卷积层的输入数据为所述原始卷积层的输出数据；

在将所述原始卷积层的多个卷积核划分为第一卷积分支和第二卷积分支之后，所述方法还包括：

针对所述附加卷积层的每个卷积核，根据所述原始卷积层的多个输出通道各自的目标激活函数，将该卷积核的多个子卷积核拆分为两部分，分别为第一部分和第二部分，并将所述第一部分的子卷积核划入所述第一卷积分支，将所述第二部分的子卷积核划入所述第二卷积分支，其中，所述第一部分的每个子卷积核对应的原始卷积层输出通道的目标激活函数均为非线性激活函数，所述第二部分的每个子卷积核对应的原始卷积层输出通道的目标激活函数均为线性激活函数。

4.根据权利要求3所述的方法，其特征在于，在将所述附加卷积层的每个卷积核的多个子卷积核拆分为两部分之后，所述方法还包括：

对划入至所述第一卷积分支的子卷积核的大小进行扩大，扩大后的子卷积核的中心区域的权值等于扩大前的子卷积核的权值，扩大后的子卷积核的外围区域的权值等于0；其中，扩大后的子卷积核的中心区域的大小，与扩大前的子卷积核的大小相同。

5.根据权利要求3所述的方法，其特征在于，在将所述附加卷积层的每个卷积核的多个子卷积核拆分为两部分之后，所述方法还包括：

对划入至所述第二卷积分支的子卷积核与所述第二卷积分支中的所述原始卷积层的卷积核进行合并，得到合并卷积层。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将拆分至所述第一卷积分支的所有子卷积核共同作为另一个待处理的原始卷积层；或者，将所述初始神经网络中的其他卷积层，作为另一个待处理的原始卷积层。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述合并卷积层作为另一个待处理的原始卷积层；或者，将所述初始神经网络中的其他卷积层，作为另一个待处理的原始卷积层。