[发明专利]一种基于二阶VLAD稀疏自适应深度网络的图像分类方法

权利要求书

1.一种基于二阶VLAD稀疏自适应深度网络的图像分类方法，其特征在于，使用端到端训练的多路特征编码网络，首先从多个卷积层后面的激活函数提取非线性的卷积特征，然后在每个卷积特征中计算相应的稀疏自适应二阶-局部特征聚合描述符SASO-VLAD编码，最后汇总所有的SASO-VLAD编码，构建最终的多路径特征编码网络M-SASO-VLADNet，通过全连接层和损失层输出分类损失；所述SASO-VLAD编码使用稀疏自适应软分配编码SASAC来得到稀疏的权重系数，利用一阶和二阶VLAD编码共同表示端到端的稀疏自适应二阶VLAD模型SASO-VLADNet；

卷积层特征的SASO-VLADNet编码计算过程包括以下步骤：

步骤2.1：使用一个卷积层的特征F_i通过稀疏自适应软分配编码(SASAC)层和降维层后相乘得到一阶统计信息ξ₁(F_i)；

步骤2.2：ξ₁(F_i)通过平均池化层后经过L2范数归一化，ξ₁(F_i)通过二阶层得到二阶统计信息ξ₂(F_i)，ξ₂(F_i)经过L2范数归一化，连接两个归一化输出，再经过L2范数归一化得到SASO-VLADNet层输出；

二阶统计信息ξ₂(F_i)利用协方差矩阵获得通道间的交互特征，二阶统计信息ξ₂(F_i)的表达式为：

其中vec是将矩阵转换为相应列向量的向量运算，代表模型第i个图像特定卷积层特征的描述符集，描述符集合中一共有M个描述符，f_ij∈R^D×1是F_i的第j个描述符，D代表向量维度；U_k,μ_k为一阶统计信息中的降维矩阵和偏置，k表示某一组降维矩阵和偏置的索引，K表示降维矩阵和偏置的组数，λ_ij(k)为SASAC层的编码系数。

2.根据权利要求1所述的一种基于二阶VLAD稀疏自适应深度网络的图像分类方法，其特征在于，所述端到端的SASO-VLAD构成SASO-VLADNet层，网络构成步骤为：

步骤3.1：使用卷积层的一个特定CNN特征F_i通过SASAC层和降维层后相乘得到一阶统计信息ξ₁(F_i)；

步骤3.2：ξ₁(F_i)通过平均池化层后经过L2范数归一化，ξ₁(F_i)通过二阶层得到二阶统计信息ξ₂(F_i)后经过L2范数归一化，连接两个归一化输出后经过L2范数归一化得到最后输出；降维层的降维方法为仿射子空间方法；

在所述稀疏自适应软分配编码SASAC中，稀疏自适应软分配编码SASAC层是多维高斯概率密度函数的变体，并通过端到端的方式自适应地学习所有参数，包括字典和方差参数；SASAC层仅保留T个最大概率，并强制其他小概率为零以获得稀疏权重系数。