[发明专利]轻量化的残差神经网络模型

说明书

本发明提供了一种轻量化的残差神经网络模型，包括：输入模块，用于对输入特征图进行预处理以得到中间特征图；特征提取模块，与输入模块连接，用于将中间特征图转换为特征提取图；其中，特征提取模块包括依次连接的多个残差块，通过设置多个残差块中的每一个残差块的主分支上的各卷积层及对应的卷积方式和/或多个残差块的每一个残差块的捷径分支上的卷积层及卷积方式，以使中间特征图在转换为特征提取图时降低卷积过程中的参数量；及输出模块，与特征提取模块连接，用于对特征提取图进行处理以得到输出特征图。本申请的轻量化的残差神经网络模型既能降低参数总量，经过自蒸馏训练后又能保持与原残差神经网络相近的性能，可应用融合、重建等领域。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种轻量化的残差神经网络模型。

背景技术

乘着人工智能发展的浪潮，神经网络算法凭借着强大的特征处理能力，超越了很多传统的机器学习算法，可应用于各行各业中。尤其是目前兴起的残差神经网络，其发现了“退化现象(Degradation)”，并针对退化现象发明了“快捷连接(Shortcut connection)”，极大的消除了深度过大的神经网络训练困难问题。残差神经网络的“深度”首次突破了100层、最大的残差神经网络甚至超过了1000层。但这种庞大的神经网络模型会占用大量的存储空间，有着海量的计算，这也就意味着很难在边缘设备上进行部署。为了解决这一难题，就需要将大型神经网络模型进行压缩，当前的模型压缩研究方法有五种：网络剪枝、参数量化、低秩分解、轻量化模型设计及知识蒸馏。但这5种方法普遍存在着压缩程度低、压缩后的神经网络模型性能差等问题，从而导致在边缘设备上的部署依然困难重重。

发明内容

本发明提供了一种轻量化的残差神经网络模型。该轻量化的残差神经网络模型包括输入模块，用于对输入特征图进行预处理以得到中间特征图；特征提取模块，与输入模块连接，用于将中间特征图转换为特征提取图；其中，特征提取模块包括依次连接的多个残差块，通过设置所述多个残差块中的每一个残差块的主分支上的各卷积层及对应的卷积方式和/或所述多个残差块的每一个残差块的捷径分支上的卷积层及卷积方式，以使中间特征图在转换为特征提取图时降低卷积过程中的参数量；及输出模块，与特征提取模块连接，用于对特征提取图进行处理以得到输出特征图。

在一实施例中，多个残差块中的第一残差块包括位于主分支上的第一卷积层及第二卷积层，和位于捷径分支上的第三卷积层；主分支的输入与所述捷径分支的输入相同；主分支的输出与捷径分支的输出经求和后再进行输出。

在一实施例中，第一卷积层对主分支的输入进行逐点卷积；第二卷积层对第一卷积层的输出进行分组卷积；第三卷积层对捷径分支的输入进行逐点卷积；第二卷积层的输出与第三卷积层的输出经求和后再输出。

在一实施例中，第一卷积层对主分支的输入进行分组逐点卷积；第二卷积层对第一卷积层的输出进行分组卷积；第三卷积层对捷径分支的输入进行分组逐点卷积；第二卷积层的输出与第三卷积层的输出经求和后再输出。

在一实施例中，第一卷积层对主分支的输入进行分组卷积；第二卷积层对第一卷积层的输出进行逐点卷积；第三卷积层对捷径分支的输入进行逐点卷积；第二卷积层的输出与第三卷积层的输出经求和后再输出。

在一实施例中，第一卷积层对主分支的输入进行分组卷积；第二卷积层对第一卷积层的输出进行分组逐点卷积；第三卷积层对捷径分支的输入进行分组逐点卷积；第二卷积层的输出与第三卷积层的输出经求和后再输出。

在一实施例中，一个残差块的卷积层包括第一卷积层、第二卷积层及第三卷积层；第一卷积层对主分支上的输入进行深度卷积；第二卷积层对所述第一卷积层的输出进行逐点卷积；第三卷积层对捷径分支的输入进行逐点卷积；第二卷积层的输出与第三卷积层的输出经求和后再输出。