[发明专利]基于卷积神经网络多层特征融合的潜在目标区域生成方法

说明书

本发明属于深度学习和计算机视觉技术领域，涉及基于卷积神经网络多层特征融合的潜在目标区域生成方法，包括：构建基于卷积神经网络的特征提取模块，提取图像多层次特征，特征提取模块有两路输出，其中，第一路输出是特征提取模块中除去第一阶段的其他所有阶段最后一个卷积层的集合，输出多层次特征图；第二路输出是从图像中提取的图像特征；构建基于卷积神经网络的潜在目标区域生成模块，输出潜在目标区域侯选框信息；综合潜在目标区域候选框的位置置信度和分类得分，使用混合的非极大值抑制算法对潜在目标区域候选框进行筛选，得到潜在目标区域。本发明可以充分利用图像中上下层特征图的语义信息，进一步提高潜在目标区域的定位精度和鲁棒性。

技术领域

本发明属于深度学习和计算机视觉技术领域，涉及一种基于卷积神经网络多层特征融合的潜在目标区域生成方法。

背景技术

随着计算机硬件水平的提升，人工智能、深度学习技术得以突破和发展，以卷积神经网络为基础的计算机视觉任务成为当前最受关注的对象之一。作为图像目标检测的基本研究问题之一，潜在目标区域生成也焕发出生机。潜在目标区域生成是针对一张图像，找出那些最可能含有目标的候选窗并进行定位，进而利用这些候选窗来加快图像的目标检测。

目前潜在目标区域生成的方法包括：基于传统机器学习的方法和基于卷积神经网络的深度学习的方法。基于传统机器学习的方法需要人工提取特征，不仅速度慢、与特定的项目有关，还与设计人员的经验和能力有关；基于卷积神经网络的方法虽然也可以用来进行特征提取，但是Faster R-CNN等潜在目标区域算法只考虑从分类得分角度对候选区域进行筛选，IOU-guided NMS算法只使用候选区域的位置置信度作为筛选标准，从它们实验结果来看这两个因素对候选区域的选择都起着作用，但是单独使用一项用作标准将会降低另一项因素的作用，因此十分有必要根据位置置信度和分类得分提出新的非极大值抑制算法对候选框进行挑选。同时，现有的区域生成网络RPN(Region Proposal Net)等算法在小物体的检测方面表现不如采用特征融合的FPN(Feature Pyramid Networks)算法，小物体的召回率比较低。据有关统计实验表明，对于用于图像目标检测的潜在目标区域，其召回率和定位精度同样重要，因此潜在目标区域生成方法需要对多层特征的融合进行进一步地研究和改善。

发明内容

针对现有技术的不足，本发明提供一种基于卷积神经网络多层特征融合的潜在目标区域生成方法。

本发明采用如下技术方案实现：

基于卷积神经网络多层特征融合的潜在目标区域生成方法，包括：

S1、构建基于卷积神经网络的特征提取模块，提取图像多层次特征，特征提取模块有两路输出，其中，第一路输出是特征提取模块中除去第一阶段的其他所有阶段最后一个卷积层的集合，输出多层次特征图；第二路输出是从图像中提取的图像特征；

S2、构建基于卷积神经网络的潜在目标区域生成模块，用于接收特征提取模块第一路输出的多层次特征图，对多层次特征图进行反卷积操作，拼接形成一个整体特征图；对整体特征图进行多种卷积得到特征融合后的局部特征和全局特征不同组合的特征图；对不同组合的特征图采用不同大小和比例的滑动窗口进行扫描，对扫描到的区域进行预测和回归，使用焦点损失函数保证前背景样本数量的平衡，输出潜在目标区域侯选框信息；

S3、构建基于卷积神经网络的潜在目标区域筛选模块，综合潜在目标区域候选框的位置置信度和分类得分，使用混合的非极大值抑制算法对潜在目标区域候选框进行筛选，得到潜在目标区域。

进一步地，潜在目标区域侯选框信息包含三部分：①代表前景或背景的标签、②潜在目标区域侯选框分类得分、③潜在目标区域侯选框位置参数(x,y,w,h)^T，其中(x,y)代表左上角的位置坐标，w、h代表宽和高。

进一步地，基于卷积神经网络的潜在目标区域生成，包括三个阶段：