[发明专利]基于卷积神经网络多层特征融合的潜在目标区域生成方法

权利要求书

1.基于卷积神经网络多层特征融合的潜在目标区域生成方法，其特征在于，包括：

S1、构建基于卷积神经网络的特征提取模块，使用VGG-16卷积神经网络提取图像多层次特征，具有5个阶段，特征提取模块有两路输出，其中，第一路输出是特征提取模块中除去第一阶段的其他所有阶段最后一个卷积层的集合，输出多层次特征图；第二路输出是从图像中提取的图像特征；

S2、构建基于卷积神经网络的潜在目标区域生成模块，用于接收特征提取模块第一路输出的多层次特征图，对多层次特征图进行反卷积操作，拼接形成一个整体特征图；对整体特征图进行多种卷积得到特征融合后的局部特征和全局特征不同组合的特征图；对不同组合的特征图采用不同大小和比例的滑动窗口进行扫描，对扫描到的区域进行预测和回归，使用焦点损失函数保证前背景样本数量的平衡，输出潜在目标区域侯选框信息；

S3、构建基于卷积神经网络的潜在目标区域筛选模块，综合潜在目标区域候选框的位置置信度和分类得分，使用混合的非极大值抑制算法对潜在目标区域候选框进行筛选，得到潜在目标区域；

所述混合的非极大值抑制算法包含IOU-guided NMS算法和Soft-NMS算法，步骤S3包括以下步骤：

①基于步骤S1中第二路输出的图像特征，使用IOU-Net算法得到潜在目标区域侯选框的位置置信度，根据位置置信度使用IOU-guided NMS算法进行潜在目标区域候选框的筛选，得到Top K个结果；

②根据潜在目标区域候选框的分类得分使用Soft-NMS算法对潜在目标区域侯选框进行筛选，得到Top K个结果；

③从两个结果中筛选出符合要求的Top K个潜在目标区域；

上述步骤③中的潜在目标区域筛选使用如下方式实现：

使用IOU-Net得到潜在目标区域侯选框的位置置信度，根据位置置信度使用IOU-guided NMS算法进行潜在目标区域候选框的筛选，得到Top K个结果，依次存到有序列表A中；

使用Soft-NMS算法按照潜在目标区域侯选框的分类得分进行筛选，得到Top K个结果，依次存到有序列表B；

对列表A和列表B进行相交运算得到列表C；设集合C中有M个元素，则将这M个位置置信度和分类得分都不错的潜在目标区域作为输出的一部分；设对位置置信度和分类得分的关注度分别为λ、(1-λ)，则按照列表顺序依次从列表A取前λ*(K-M)个作为输出的一部分，从列表B中取前(1-λ)*(K-M)个作为输出的一部分；通过这三个部分的筛选，得到Top K个潜在目标区域作为最终的输出。

2.根据权利要求1所述的潜在目标区域生成方法，其特征在于，潜在目标区域侯选框信息包含三部分：①代表前景或背景的标签、②潜在目标区域侯选框分类得分、③潜在目标区域侯选框位置参数(x,y,w,h)^T，其中(x,y)代表左上角的位置坐标，w、h代表宽和高。

3.根据权利要求1或2所述的潜在目标区域生成方法，其特征在于，基于卷积神经网络的潜在目标区域生成，包括三个阶段：

第一阶段首先对输入的多层次特征图进行不同尺度的反卷积操作，使得所有特征图的长宽和输入的特征图中最大的一张特征图的长宽相同，然后按照以通道为轴的方式进行拼接，形成一个通道数等于所有特征图通道数和的整体特征图；

第二阶段对整体特征图进行多种卷积实现特征融合后得到局部特征和全局特征不同组合的特征图；

第三阶段对不同组合的特征图采用不同大小和比例的滑动窗口进行扫描，对扫描到的区域进行预测和回归，使用焦点损失函数保证前背景样本数量的平衡，输出潜在目标区域侯选框信息。

4.根据权利要求3所述的潜在目标区域生成方法，其特征在于，第一阶段由多条分支构成，特征提取模块第一路输出的每一个特征图对应第一阶段的一个分支，输入的特征图中除了长宽最大的特征图不进行反卷积，其他特征图都进行反卷积，卷积结束后所有特征图的长和宽相等，只有通道数不同，最后在通道轴上对反卷积后的特征图和长宽最大的特征图进行拼接形成一个整体特征图。