[发明专利]一种基于区域池化和特征融合的深度学习图像多标记分类方法

权利要求书

1.一种基于区域池化和特征融合的深度学习图像多标记分类方法，其特征在于，包含以下步骤：

步骤1)：对待处理图像进行候选区域提取；利用候选框算法从图片中提取出若干不同尺寸的候选区域P∈N×W^l×H^l(l＝1,2....N)，供后续步骤处理；其中N是候选区域的数量，W^l和H^l分别是候选区域的长度和宽度，每个候选区域的尺度不同；

步骤2)：根据步骤1)得到的候选区域P∈N×W^l×H^l(l＝1,2....N)，进入预训练好的卷积神经网络的卷积部分，生成不同尺度的多通道感兴趣特征图F∈N×C×w^l×h^l(l＝1,2....N)；其中N是感兴趣特征图数量，C为感兴趣特征图通道数，w^l和h^l分别是单个特征通道的长度和宽度；可采用预训练卷积神经网络，对候选区域进行特征提取，生成具有高度抽象特征的感兴趣特征图；

步骤3)：根据步骤2)得到的感兴趣特征图F∈N×C×w^l×h^l(l＝1,2....N)进行区域池化，生成尺度相同的感兴趣特征图；w^l×h^l表示每个感兴趣特征图的长度和宽度，将其所有的感兴趣特征图的尺寸归一化为w′×h′，归一化后的感兴趣特征图为：F∈N×C×w′×h′；

步骤4)：根据步骤3)得到的若干归一化的感兴趣特征图F∈N×C×w′×h′进行特征融合，生成一个具有高度特征抽象的特征向量，V∈T；其中T表示物体的种类数；

步骤5)：根据步骤4)得到的特征向量，进入分类器分类，预测出标记向量p∈T；预测向量p的每一个位置pⁱ表示含有物体i的概率；设定阈值θ，pⁱ若超过阈值θ即含有物体i。

2.根据权利要求1所述的一种基于区域池化和特征融合的深度学习图像多标记分类方法，其特征在于，所述步骤1)提到的候选区域提取算法，包括但不限于SelectiveSearch，EdgeBoxes等候选区域提取算法。

3.根据权利要求1所述的一种基于区域池化和特征融合的深度学习图像多标记分类方法，其特征在于，所述步骤2)提到的通过卷积神经网络提取感兴趣特征图的方法，包括但不限于Alexnet，VGG，Resnet等其他卷积神经网络。

4.根据权利要求1所述的一种基于区域池化和特征融合的深度学习图像多标记分类方法，其特征在于，所述步骤3)包括以下步骤：

步骤3.1)：将每个w^l×h^l的感兴趣的特征图划分成w′×h′个子特征图，即采用横纵切分的方法，每个子特征图的大小为：

步骤3.2)：将每个子特征图进行最大池化，提取最大值特征点；每个子特征图的最大特征点重组成新的特征图，新的特征图的尺寸为w′×h′；将每个感兴趣特征图进行子特征图划分，最大池化，特征重组，所有的感兴趣特征图归一化为w′×h′。

5.根据权利要求1所述的一种基于区域池化和特征融合的深度学习图像多标记分类方法，其特征在于，所述步骤4)包括以下步骤：

步骤4.1)：根据步骤4)得到的归一化感兴趣特征图F∈N×C×w′×h′进入若干层全连接神经网络进行特征提取，生成感兴趣特征向量；先将归一化感兴趣特征图进行一次卷积，卷积核大小为w′×h′，输出为Fc∈N×C′，再进入若干层全连接神经网络，输出为Fs∈N×T，其中N表示感兴趣特征向量个数，T是每个向量的维度；

步骤4.2)：根据步骤4.1)得到的多个特征向量Fs∈N×T进行特征融合，生成特征向量V∈T；设定Fs＝(t¹,t²,.....t^N)t¹∈N×1，V＝(v¹,v²,.....v^N)，则vⁱ＝max(t¹)。