[发明专利]神经网络处理方法、装置、电子设备及存储介质

说明书

本发明实施例提出一种神经网络处理方法、装置、电子设备及存储介质，旨在实现对神经网络的变形，使得变形后的神经网络在分类、识别等任务中具有更好表现。其中，所述神经网络处理方法，包括：从初始神经网络中确定待处理的原始卷积层；为所述原始卷积层设置激活函数选择器，并为所述原始卷积层的每个输出通道配置多个候选激活函数；训练所述激活函数选择器，并利用训练完成的激活函数选择器，为每个输出通道确定目标激活函数；根据多个输出通道各自的目标激活函数的类型，将所述原始卷积层的多个卷积核划分为多个卷积分支，其中，同一卷积分支中的各个卷积核所对应的输出通道的目标激活函数的类型相同。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种神经网络处理方法、装置、电子设备及存储介质。

背景技术

近年来，随着机器学习技术的发展，神经网络在各种图像识别、语音识别等任务中都取得了突破性的进展。例如，在图像识别任务中，向一个神经网络中输入待识别的图片，经过神经网络中的卷积层的卷积处理，以及神经网络中的其他网络层的相应处理，输出识别结果，便可自动实现对图片中的图像(例如人像、证件、车辆、路牌)的自动识别。

为了获得能完成上述任务的神经网络，需要预先设计并搭建一个原始的神经网络，然后选用与上述任务相关的样本数据和训练策略对该神经网络进行训练，最后得到训练成功的神经网络，该神经网络能实现完成上述识别任务。其中，神经网络的模型结构对于识别任务的完成精度有着重要的影响，合适的模型结构可以显著提高识别任务的精确度。

相关技术中，通常是人工地凭借经验设计神经网络的模型结构。但是人工设计的网络结构通常较简单，难以高效率地设计出结构复杂、功能强大的模型结构。因此利用这些人工设计的网络模型执行识别任务时，通常仅对简单的识别任务具有较高的识别效果，而难以将其应用于复杂的识别任务，也难以将其应用至识别精度要求较高的识别任务。

发明内容

鉴于上述问题，提出了本发明实施例提出了一种神经网络处理方法、装置、电子设备及存储介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，提供了一种神经网络处理方法，包括：

从初始神经网络中确定待处理的原始卷积层，所述原始卷积层包括多个卷积核，每个卷积核对应所述原始卷积层的一个输出通道；

为所述原始卷积层设置激活函数选择器，并为所述原始卷积层的每个输出通道配置多个候选激活函数；

训练所述激活函数选择器，并利用训练完成的激活函数选择器，从每个输出通道对应的多个候选激活函数中，确定该输出通道的目标激活函数；

根据多个输出通道各自的目标激活函数的类型，将所述原始卷积层的多个卷积核划分为多个卷积分支，其中，同一卷积分支中的各个卷积核所对应的输出通道的目标激活函数的类型相同。

本发明实施例的第二方面，提供了一种神经网络处理装置，包括：

原始卷积层确定模块，用于从初始神经网络中确定待处理的原始卷积层，所述原始卷积层包括多个卷积核，每个卷积核对应所述原始卷积层的一个输出通道；

选择器配置模块，用于为所述原始卷积层设置激活函数选择器，并为所述原始卷积层的每个输出通道配置多个候选激活函数；

目标激活函数确定模块，用于训练所述激活函数选择器，并利用训练完成的激活函数选择器，从每个输出通道对应的多个候选激活函数中，确定该输出通道的目标激活函数；

原始卷积层拆分模块，用于根据多个输出通道各自的目标激活函数的类型，将所述原始卷积层的多个卷积核划分为多个卷积分支，其中，同一卷积分支中的各个卷积核所对应的输出通道的目标激活函数的类型相同。