[发明专利]神经网络构建方法、装置、设备及介质

说明书

本发明实施例提供了一种神经网络构建方法、装置、设备及介质，所述方法包括：从原始神经网络中确定待替换的卷积层；将所述待替换的卷积层替换为目标卷积层，得到目标卷积神经网络；其中，所述目标卷积层的目标卷积核参数是根据所述原始神经网络的裁剪率，对所述待替换的原始卷积层卷积核参数进行调整后得到的；所述目标卷积层用于按照所述目标卷积核参数对待卷积的特征图进行卷积操作，得到卷积后的特征图。

技术领域

本发明涉及计算机处理技术领域，特别是涉及一种神经网络构建方法、装置、设备及介质。

背景技术

近年来，随着人工神经网络复杂度的增加，模型的表达能力也随之提升。然而，神经网络模型的复杂度增加虽然能够提升模型的表达能力和性能，但是，随之而来的，模型也会增加的大量参数和计算复杂度，尤其是对于嵌入式设备、自动驾驶领域等资源受限的应用场景下，更不可能无限制的靠增加模型复杂度来提高模型预测性能。因此，为了加快人工智能的落地，需要在保证模型预测准确率的前提下，尽量减小模型的复杂度。

相关技术中，一般通过模型剪枝对模型进行压缩，以尽可能减少模型参数或者计算复杂度。但是，采用此种方式时，每一卷积层都需要人工根据取得的通道数下标来筛选出对应的通道参数，并将其聚拢。此种方式非常耗时，导致模型预测的效果仍然较低。

发明内容

鉴于上述问题，提出了本发明实施例的一种神经网络构建方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，公开了一种神经网络构建方法，所述方法包括：

从原始神经网络中确定待替换的卷积层；

将所述待替换的卷积层替换为目标卷积层，得到目标卷积神经网络；

其中，所述目标卷积层的目标卷积核参数是根据所述原始神经网络的裁剪率，对所述待替换的原始卷积层卷积核参数进行调整后得到的；

所述目标卷积层用于按照所述目标卷积核参数对待卷积的特征图进行卷积操作，得到卷积后的特征图。

可选地，所述目标卷积层包括第一卷积层和第二卷积层，所述第一卷积层中的卷积核和所述第二卷积层中的卷积核均为1*1卷积核；

所述第一卷积层用于根据所述裁减率，对所述原始卷积核参数中的输入通道数进行调整，得到调整后的第一卷积核参数；

所述第二卷积层用于根据所述裁减率和所述调整后的第一卷积核参数，对所述原始卷积层卷积核参数中的输出通道数进行调整。

可选地，所述目标卷积层还包括：第一维度交换模块、第二维度交换模块，其中，所述第一维度交换模块连接在所述第一卷积层和所述第二卷积层之间，所述第二维度交换模块连接在所述第二卷积层和所述目标卷积层的输出端之间；

所述第一维度交换模块用于对所述调整后的第一卷积核参数的第0维和第1维进行交换，得到维度交换后的第一卷积核参数；

所述第二卷积层用于根据所述裁减率，对所述维度交换后的第一卷积核参数中的输出通道数进行调整，得到调整后第二卷积核参数；

所述第二维度交换模块用于对所述调整后的第二卷积核参数的第0维和第1维进行交换，得到所述目标卷积核参数。

可选地，所述目标卷积层还包括：注意力模块、维度调整模块和卷积模块，所述注意力模块连接在所述目标卷积层的输入端和所述第二卷积层之间，所述维度调整模块连接在所述注意力模块和所述第二卷积层之间，所述卷积模块连接在所述目标卷积层的输入端和所述目标卷积层的输出端之间；

所述注意力模块用于根据输入所述输入端的待卷积特征图的输出通道数和所述裁剪率，输出预设维度的张量；