[发明专利]细粒度图像识别方法、装置、计算机设备及存储介质

权利要求书

1.一种细粒度图像识别方法，其特征在于，包括如下步骤：

获取图像样本，并对图像分类属性进行标注；

构建双线性卷积神经网络模型；

将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc；

从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；

通过所述细粒度图像识别模型对通过图像采集模块获取的待识别图像进行分类识别。

2.如权利要求1所述的细粒度图像识别方法，其特征在于，所述获取图像样本，并对图像分类属性进行标注与所述构建双线性卷积神经网络模型，之间还包括：

对所述图像样本做预处理，其中，所述预处理包括直方图均衡化、图像二值化。

3.如权利要求1所述的细粒度图像识别方法，其特征在于，所述将所述图像样本导入基于双线性卷积神经网络细粒度图像识别模型中训练，并获得细粒度图像识别模型，还包括：

将所述图像样本分别导入所述卷积神经网络CNN A和所述卷积神经网络CNN B，其中，所述卷积神经网络CNN A包括多个依次连接的卷池组；所述卷积神经网络CNN B也包括多个依次连接的所述卷池组；所述卷池组包括依次连接的卷积层Conv和池化层Pool；

通过所述卷积层Conv对所述图像样本进行卷积操作，并通过激活函数计算卷积的输出；

通过所述池化层Pool对完成卷积操作的图像进行下采样操作以减少图像尺寸大小；

所述卷积神经网络CNN A输出特征向量X₁，所述卷积神经网络CNN B输出特征向量X₂；

将所述特征向量X₁和所述特征向量X₂均输入所述双线性池化层Bilinear pooling；

所述双线性池化层Bilinear pooling采用外积形式将所述特征向量X₁和所述特征向量X₂进行融合，并得到融合后的特征向量X₁^TX₂；

将所述特征向量X₁^TX₂输入所述归一化层LN，所述归一化层LN对所述特征向量X₁^TX₂进行快速收敛；

将收敛后的所述特征向量X₁^TX₂输入全连接层Fc，所述全连接层Fc对收敛后的所述特征向量X₁^TX₂进行分类。

4.如权利要求3所述的细粒度图像识别方法，其特征在于，若所述卷积神经网络CNN A和所述卷积神经网络CNN B为相同的卷积神经网络，则所述特征向量X₁＝所述特征向量X₂；取X＝X₁＝X₂，则所述特征向量X₁^TX₂为X^TX；所述全连接层Fc对收敛后的所述特征向量X₁^TX₂进行分类，还包括：

所述全连接层Fc计算所述特征向量X₁^TX₂所属各类别的分数；

其中，计算所属各类别的分数的公式为：

s_k＝(vecW_k)^T(vecXX^T)+b_k

其中，S_k为所属各类别的分数，k＝1，2，...，K，K是所有的类别数，W_K表示第k类的参数矩阵，b_k是偏置值；XX^T∈R^D*D。