[发明专利]一种基于强化学习的双流特征融合图像识别方法

说明书

本发明公开了一种基于强化学习的双流特征融合图像识别方法，对待检测输入图像，使用两个不同的模型分别得到特征矩阵，然后将两个特征矩阵输入到强化学习模型和融合模型后得到最终的分类分数。两个模型分别是纹理模型和形状模型：纹理模型是根据图像中对象的纹理信息来进行分类，而形状模型根据对象的形状信息来进行分类。两个模型都通过强化学习的方式，让网络在整张图像中寻找最有区分力的区域，然后根据这个区域来进行分类。本方法简单易行，推广能力强，找到易于区分图像的区域，区分性区域合适并有效，充分用图像中的纹理和形状信息，能有效克服图像信息利用不充分和图像之间差异小的影响。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于强化学习的双流特征融合图像识别方法。

背景技术

图像识别在人们的日常生活中有许多方面的应用，如智能安防、生物医学、电商购物、自动驾驶和智能家居等。图像识别研究的是如何从多个类别中，识别出样本对应的类别。存在着诸多的问题，例如图像之间的差异性较小，背景影响较大等等。

目前的图像识别方法，通常是直接将图像输入到卷积神经网络上进行特征提取后进行分类。虽然在特征提取后有各式各样的操作，但是这样提取特征的过程，实际上提取的大部分都是图像的纹理信息。这样的操作都会存在一个缺点，那就是形状信息无法得到充分利用，不能完全提取出对识别图像有利信息。另外，为了减小背景的干扰，目前的采取的措施是生成候选框，但是这种方法生成的候选框数量大，计算时间时间长，而且目标不明确，不能找到真正对图像分类有帮助的区域。

因此需要设计双流特征融合的图像识别方法，能够融合图像的纹理信息和形状信息并且优化计算效率的方法。

发明内容

本发明的目的在于提供一种基于强化学习的双流特征融合图像识别方法，该方法可以有效地找到分别包含纹理信息和形状信息的最有效的区域。减小背景和无用信息的影响，有效地提高识别的精度。包括下述步骤：

(1)生成形状数据集：

对每张图像，输入到图像转换模型中，输出对应的形状相似，但纹理不同的n张图片。n为预设值，n越大后面的学习效果会更好但训练模型花费的时间会更久，一般可以尝试n取值为5～10。转换后的n张图像的标签都和输入图像的标签相同。此形状数据集是将原始数据集减少纹理信息增加形状信息后，和原始数据集成对的数据集。生成此对应数据集的目的是希望后续的待训练模型能够学习图像的形状信息。

(2)训练纹理基础模型和形状基础模型：

(2.1)分别对原始数据集和形状数据集的每一个图像进行数据增强：对于一张图像，在图像中的随机位置生成m个矩形框，m为预设值。m的范围可以是4～7，m太大会导致数据太多而花费太多时间。框的边长一般大于图像边长的1/2，小于等于图像的边长。裁剪后的图像的标签和原始图像的标签保持一致。

(2.2)使用裁剪后的图像来训练基础模型，纹理基础模型使用原始数据集训练，形状基础模型使用形状数据集训练；纹理基础模型和形状基础模型的结构一样。都是在ResNet50网络中的最后一个block之后新增加一个自适应平均池化层AdaAvgPool，自适应平均池化层将图像进行池化，减小特征图的尺寸。将AdaAvgPool输出的特征图压缩到一维后得到特征向量Feature，将AdaAvgPool之前的特征送到分类器之后得到分类预测概率pred，分类器可以选择使用全连接层。基础模型输出Feature和pred，作用是提取输入图像的特征，并预测分类概率。

(3)训练纹理强化学习模型：

(3.1)读取图像image_global和对应的类别标签c。初始化一个矩形框box，尺寸和读取的图像大小一样。