[发明专利]一种基于区域池化和特征融合的深度学习图像多标记分类方法

说明书

本发明提供了一种基于区域池化和特征融合的深度学习图像多标记分类方法，其步骤为：1)对待处理图像进行候选区域提取，生成不同尺度的候选区域；2)将候选区域通过预训练的卷积神经网络的卷积部分提取感兴趣特征图，生成不同尺度的多通道感兴趣特征图3)将不同尺度的感兴趣特征图进行区域池化，使得不同尺寸的感兴趣特征图变成相同尺寸；4)将多个相同尺寸的感兴趣特征图进行融合，生成最后的特征向量；5)将特征融合后的特征向量进入分类器，预测出图像中含有物体的概率；本发明基于卷积神经网络，并加入区域池化和特征融合，不仅提供了在卷积神经网络里进行特征融合的方法，而且提供了一个高精度图像多标记的方法，方便研究人员和工程应用人员在实际应用中提高图像分类效果。

技术领域

本发明属于计算机图像处理技术领域，涉及到一种基于区域池化和特征融合的深度学习图像多标记分类方法。

背景技术

图像多标记分类是图像处理的基础性任务，目的是识别出来图像中包含哪几类物体。图像分类和图像多标记分类是两个任务，图像分类是图像多分类任务的一种特殊情况，即图像中只含有一种物体。今年来，由于深度学习的快速发展，图像分类任务也取得了长足进步，基于卷积神经网络的图像分类更是达到了与人类相当的水平。然后图像的多标记分类由于要识别出图像中的多个物体，其任务更加复杂，效果还有待提高。然而在实际的应用中，多标记图像分类有很多的应用场景。目前图像多标记任务在研究和应用上存在以下的问题：

一方面，图像多标记分类由于要识别出多个种类的物体，因此场景往往相对复杂，物体与物体之间有时候还会有重叠，增加了识别的难度。

另一方面，多标记分类在一定程度上要求标记与标记之间有一定的联系性，使用深度学习模型会捕捉到标记与标记之间的关联，模型在训练时会趋于收敛然而实际场景中，标记与标记之间可能会存在较小的关联性。

还有一方面，图像分类任务需要标记数据来完成模型的训练。在实际应用中，相对于图像分类来讲，多标记任务每张图片要标记多个标签，增加了标记难度。

这些问题将导致用户难以使用图像多标记，往往将问题转化为多个图像分类任务，在一定程度上削弱了多标记在实际领域应用中的易用性。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种基于区域池化和特征融合的深度学习图像多标记分类方法，为用户提供了结构清晰易懂，同时仍有高精度图像多标记分类的方法。

本发明所提供的技术方案为：

一种基于区域池化和特征融合的深度学习图像多标记分类方法，包含以下步骤：

步骤1)：对待处理图像进行候选区域提取；利用候选区域提取算法从图片中提取出若干不同尺寸的候选区域P∈N×W^l×H^l(l＝1,2....N)，供后续步骤处理；其中N是候选区域的数量，W^l和H^l分别是候选区域的长度和宽度，每个候选区域的尺度不同；

步骤2)：根据步骤1)得到的候选区域P∈N×W^l×H^l(l＝1,2....N)，进入预训练好的卷积神经网络的卷积部分，生成不同尺度的多通道感兴趣特征图F∈N×C×w^l×h^l(l＝1,2....N)；其中N是感兴趣特征图数量，C为感兴趣特征图通道数，w^l和h^l分别是单个特征通道的长度和宽度；可采用预训练卷积神经网络，对候选区域进行特征提取，生成具有高度抽象特征的感兴趣特征图；