[发明专利]基于神经网络自适应膨胀剪枝的视觉对象分类方法

权利要求书

1.基于神经网络自适应膨胀剪枝的视觉对象分类方法，其特征在于，包括以下步骤：

运用自适应膨胀算法扩充预训练神经网络：将视觉分类图像作为输入，根据不同层对视觉对象分类任务的贡献将重要的层进行了膨胀，得到一个在视觉对象分类任务上符合预期的膨胀网络；

采用随机结构采样算法训练膨胀网络,使膨胀网络学习为各种剪枝结构生成不同的权重；

对经过随机结构采样算法训练后的膨胀网络进行剪枝，得到选择性能符合要求的网络作为压缩后的精简网络；

将获得的精简网络布置于处理设备中，对视觉对象分类处理，得到分类处理结果。

2.根据权利要求1所述基于神经网络自适应膨胀剪枝的视觉对象分类方法，其特征在于，其中，运用自适应膨胀算法扩充预训练神经网络，包括：

S11，将视觉分类图像作为输入训练原始神经网络，神经网络通过提取不同视觉类别对象的特征来更新模型参数；训练后，用BN层学习到的γ作为每个通道对视觉对象分类任务贡献的度量；

BN层的计算过程如下式所示，

其中，x是视觉分类图像经过卷积运算得到的特征图，假设某一个卷积层有f个卷积核，每张分类图像经过一次卷积运算得到的特征图大小为h*w，输入卷积层的图像有m张,则输出x是一个四维矩阵(m,f,w,h)，x⁽ⁱ⁾表示第i张分类图像经过f次卷积运算得到的特征图，是一个大小为(f,w,h)的三维矩阵，μ和σ分别是x⁽ⁱ⁾的平均值和标准差，是一个大小为w*h的张量，表示对x⁽ⁱ⁾进行归一化操作，表示对进行额外的调整；γ和β是需要在训练过程中优化的参数，大小同样为w*h；

预训练模型每一层对视觉对象分类任务的贡献由该层的γ之和来衡量，称为每一层的重要性系数，表示为I(I₁,I₂,...I_l)；

S12，将重要性系数的阈值n初始化为所有层中重要性系数的最小值；将膨胀系数m初始化为所有层中最小的重要性系数的倒数；

S13，根据每一层对视觉对象分类任务的贡献来压缩或膨胀预训练模型的通道数，从而构建一个膨胀网络；逐层判断重要性系数与重要性系数阈值n之间的关系，若某一层的重要性系数小于n(I_in)，表明该层已达到当前知识泛化的上限，提取不同视觉类别对象的特征，包括方向、频率和颜色，将该层通道数压缩为原来的1/(m*I_i)；相反，将该层通道数膨胀为原来的m*I_i；

将1/(m*I_i)和m*I_i视为与每一层重要性系数相关的膨胀因子，膨胀后的网络由下式表示：

E(e₁,e₁,...e₁)＝M(m₁,m₁,...m_l)*A(a₁,a₂,...a_l)

e_i＝m_i*a_i(i＝1,2,...l)

其中，M是一个包含l个元素的向量，膨胀因子m_i的值为1/(m*I_i)或m*I_i，A(a₁,a₂,...a_l)表示预训练模型每一层a_i(1＜＝i＝l)的输出通道数，用一个长度为l的向量表示膨胀网络E(e₁,e₁,...e₁)，膨胀网络中每层的输出通道数e_i为对应层的膨胀因子m_i和输出通道数a_i的乘积；

S14，根据当前膨胀网络在视觉分类图像上的性能，以一定的步长更新n并通过迭代步骤S13，得到在视觉分类图像上表现符合预期的膨胀网络。