[发明专利]融合FCOS的R-CNN城市道路环境识别方法及装置

说明书

本发明公开了融合FCOS的R‑CNN城市道路环境识别方法及装置，所述方法提出一种融合FCOS的R‑CNN城市道路环境实例分割网络模型，包括搭建基于FCOS的目标检测网络和实例分割。本发明采用改进了FPN特征金字塔分层方式，提高城市道路环境的目标识别精度和实例分割精度；在FCOS检测网络作为RPN网络的基础上，融合Mask R‑CNN实例分割子网络，构建了新型图像识别和实例分割网络，解决了传统R‑CNN算法问题实时性低的问题；最后针对当前基于Mask R‑CNN实例分割采用的BCE损失函数收敛慢且不利于分割精度提高的问题，采用了新的基于IOU的损失函数Dice loss，使网络学习更贴近于评价指标，进一步提高分割精度。

技术领域

本发明涉及城市道路环境识别和行人检测视觉分析技术领域，具体地指一种融合FCOS的R-CNN城市道路环境识别方法及装置。

背景技术

道路环境和行人的识别分割是无人驾驶及智能交通的重要研究内容。由于实际道路环境的复杂性和多样性，实现道路的准确检测仍面临诸多问题，比如数据集分辨率不断增大带来的小目标漏检问题。传统的R-CNN神经网络道路环境识别分割网络应用广泛，但由于需要逐像素生成锚定框作为先验知识输入RPN网络，普遍算法实时性差、超参数多。因此可以从更换RPN网络的角度出发，选择不需要生成锚点的算法来减少超参数的引入，通过摄像机拍摄得到的图像对道路环境进行分割，分析道路环境和行人的分布情况。

与传统的R-CNN神经网络道路环境识别分割网络相比，无锚定框(anchor-free)检测网络FCOS可以摆脱识别和分割效果依赖于RPN网络的锚定框先验知识这一弊端。基于RPN网络，通过遍历的方式，从神经网络的某一层特征图的左上角逐像素遍历到右下角，以生成大量的先验锚定框，限制了检测速度提高。改进FPN的特征分层检测算法，适应当前公共数据集越发庞大、分辨率越来越高的发展趋势。

发明内容

本发明针对现有技术的不足之处，提出了一种融合FCOS的R-CNN城市道路环境识别方法及装置，对城市道路环境下行人目标漏检率高、识别精度低的问题提出了解决方案。

为实现上述目的，本发明所设计的一种融合FCOS的R-CNN城市道路环境识别方法，其特殊之处在于，所述方法为构建一种融合FCOS的R-CNN城市道路环境实例分割网络模型，使用图像数据集进行模型训练，将待识别图片输入至经过训练的网络模型，得到识别结果；

所述一种融合FCOS的R-CNN城市道路环境实例分割网络模型的构建包括如下步骤：

1)搭建基于FCOS的目标检测网络：用获取的图像进行特征提取，形成若干个特征层，使用FPN进行分层检测，再经过分类与回归子网络对FPN的每个特征层进行类别预测、寻找中心点和边框回归操作；

2)实例分割：用边框回归的输出与输入的图像做特征池化对齐，融合Mask R-CNN的语义分割子网络，将单阶段FCOS目标检测网络，改为双阶段的网络结构；计算改进的MaskR-CNN网络的损失函数，将池化后的特征图通过基于Mask R-CNN的语义分割子网络进行逐像素预测语义类别，得到最终的实例分割结果。

优选地，所述步骤1)中使用ResNet网络作为特征提取网络，从输入图像开始，通过若干次卷积和下采样逐级减小特征图分辨率，每层特征图大小为上层的1/2，每个输入图像通过ResNet特征提取网络生成三层的特征图。

优选地，所述步骤1)中使用改进的FPN特征分层识别方法，FPN网络结构由自下而上部分、自上而下部分和横向连接三部分构成；特征层作为自下而上部分把原始图片进行缩小，自下而上部分把最小分辨率特征图进行适当地放大，然后使用横向连接将相同分辨率的特征图进行融合。

优选地，所述改进的FPN特征分层识别方法中，当图像数据集的图像分辨率低于800×1024时，特征分层识别公式为