[发明专利]一种基于区域池化和特征融合的深度学习图像多标记分类方法

摘要

本发明提供了一种基于区域池化和特征融合的深度学习图像多标记分类方法，其步骤为：1)对待处理图像进行候选区域提取，生成不同尺度的候选区域；2)将候选区域通过预训练的卷积神经网络的卷积部分提取感兴趣特征图，生成不同尺度的多通道感兴趣特征图3)将不同尺度的感兴趣特征图进行区域池化，使得不同尺寸的感兴趣特征图变成相同尺寸；4)将多个相同尺寸的感兴趣特征图进行融合，生成最后的特征向量；5)将特征融合后的特征向量进入分类器，预测出图像中含有物体的概率；本发明基于卷积神经网络，并加入区域池化和特征融合，不仅提供了在卷积神经网络里进行特征融合的方法，而且提供了一个高精度图像多标记的方法，方便研究人员和工程应用人员在实际应用中提高图像分类效果。

主权项

1.一种基于区域池化和特征融合的深度学习图像多标记分类方法，其特征在于，包含以下步骤：步骤1)：对待处理图像进行候选区域提取；利用候选框算法从图片中提取出若干不同尺寸的候选区域P∈N×W^l×H^l(l＝1,2....N)，供后续步骤处理；其中N是候选区域的数量，W^l和H^l分别是候选区域的长度和宽度，每个候选区域的尺度不同；步骤2)：根据步骤1)得到的候选区域P∈N×W^l×H^l(l＝1,2....N)，进入预训练好的卷积神经网络的卷积部分，生成不同尺度的多通道感兴趣特征图F∈N×C×w^l×h^l(l＝1,2....N)；其中N是感兴趣特征图数量，C为感兴趣特征图通道数，w^l和h^l分别是单个特征通道的长度和宽度；可采用预训练卷积神经网络，对候选区域进行特征提取，生成具有高度抽象特征的感兴趣特征图；步骤3)：根据步骤2)得到的感兴趣特征图F∈N×C×w^l×h^l(l＝1,2....N)进行区域池化，生成尺度相同的感兴趣特征图；w^l×h^l表示每个感兴趣特征图的长度和宽度，将其所有的感兴趣特征图的尺寸归一化为w′×h′，归一化后的感兴趣特征图为：F∈N×C×w′×h′；步骤4)：根据步骤3)得到的若干归一化的感兴趣特征图F∈N×C×w′×h′进行特征融合，生成一个具有高度特征抽象的特征向量，V∈T；其中T表示物体的种类数；步骤5)：根据步骤4)得到的特征向量，进入分类器分类，预测出标记向量p∈T；预测向量p的每一个位置pⁱ表示含有物体i的概率；设定阈值θ，pⁱ若超过阈值θ即含有物体i。