[发明专利]融合FCOS的R-CNN城市道路环境识别方法及装置

权利要求书

1.一种融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述方法为构建一种融合FCOS的R-CNN城市道路环境实例分割网络模型，使用图像数据集进行模型训练，将待识别图片输入至经过训练的网络模型，得到识别结果；

所述一种融合FCOS的R-CNN城市道路环境实例分割网络模型的构建包括如下步骤：

1)搭建基于FCOS的目标检测网络：用获取的图像进行特征提取，形成若干个特征层，使用FPN进行分层检测，再经过分类与回归子网络对FPN的每个特征层进行类别预测、寻找中心点和边框回归操作；

2)实例分割：用边框回归的输出与输入的图像做特征池化对齐，融合Mask R-CNN的语义分割子网络，将单阶段FCOS目标检测网络，改为双阶段的网络结构；计算改进的Mask R-CNN网络的损失函数，将池化后的特征图通过基于Mask R-CNN的语义分割子网络进行逐像素预测语义类别，得到最终的实例分割结果。

2.根据权利要求1所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述步骤1)中使用ResNet网络作为特征提取网络，从输入图像开始，通过若干次卷积和下采样逐级减小特征图分辨率，每层特征图大小为上层的1/2，每个输入图像通过ResNet特征提取网络生成三层的特征图。

3.根据权利要求1所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述步骤1)中使用改进的FPN特征分层识别方法，FPN网络结构由自下而上部分、自上而下部分和横向连接三部分构成；特征层作为自下而上部分把原始图片进行缩小，自下而上部分把最小分辨率特征图进行适当地放大，然后使用横向连接将相同分辨率的特征图进行融合。

4.根据权利要求3所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述改进的FPN特征分层识别方法中，当图像数据集的图像分辨率低于800×1024时，特征分层识别公式为

式中，w和h分别表示RoI区域的宽度和高度，k表示用于检测目标的P_k层；等式中k最大值限制为5。

5.根据权利要求3所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述改进的FPN特征分层识别方法中，当图像数据集的图像分辨率高于或等于800×1024时，特征分层识别公式为

式中，w和h分别表示RoI区域的宽度和高度，k表示用于检测目标的P_k层；等式中k下限值为3，上限值为7。

6.根据权利要求1所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述基于FCOS的目标检测网络通过包围框的中心点坐标及中心点到包围框的上下左右四条边的距离表示包围框：

设第i个包围框的左上角的角点坐标为右下角的角点坐标为则FCOS的边框回归子网络训练目标为

式中，(x,y)为中心点像素的坐标，l^*表示当前中心点像素与包围框的左边框距离，r^*表示右边框距离，t^*表示顶部边框距离，b^*表示底部边框距离。

7.根据权利要求6所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述寻找中心点操作的计算公式为：

其中，centerness^*为中心点距离值。

8.根据权利要求1所述的融合FCOS的R-CNN城市道路环境识别方法，其特征在于：所述步骤2)中改进的Mask-RCNN网络的损失函数的计算方法为：

式中，X和Y分别表示预测分割图和GT分割图，dice表示损失值，取值范围为(0,1)。