[发明专利]一种基于改进Faster R-CNN的道路环境视觉感知方法

权利要求书

1.一种基于改进Faster R-CNN的道路环境视觉感知方法，其特征在于：它包括，

S1、读取图片信息后，一张X*Y大小的图片会缩放至H*W，经Feature extractionnetwork模块的ResNet-101特征提取网络提取图片的Feature maps；

S2、步骤S1中输出的Feature maps进入Region proposal network模块，Regionproposal network模块运用3*3大小的滑动窗遍历Feature maps，每个像素预测出54个anchor boxes，通过Softmax层判断anchors属于前景或者背景，再利用边框回归修正anchors获得精确的Proposals；

S3、ClassificationBoundingbox regression模块收集步骤S1中得到的Featuremaps和步骤S2中得到的Proposals,通过Read-only ROI挖掘困难样本，使用ROI-2更新模型参数，最后得到目标物体分类结果和边框回归的偏移量；

S4、建立训练数据集：为完善算法在雨雪、雾霾天气中的目标检测效果，结合自动驾驶数据集KITTI和Oxford RobotCar组成混合自动驾驶训练集；为减少假阳性率，数据集标签整合为‘car’类和‘pedestrian’类，并将数据集制作成PASCALVOC2007数据集的格式；

S5、训练网络模型：使用GPU_0、GPU_1联合并行训练；使用迁移学习的方式，Featureextraction network模块中的ResNet-101在ImageNet训练后得到的网络模型做为预训练模型，混合自动驾驶数据集做fine-tuning；训练方式为四步交替优化法。

2.如权利要求1所述的一种基于改进Faster R-CNN的道路环境视觉感知方法，其特征在于：所述步骤S1中X*Y大小的图片在进入网络模型前缩放至H*W，Feature extractionnetwork模块中的特征提取网络为100层的全卷积网络ResNet-101，包括Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x；经Resnet-101特征提取网络的Conv1、Conv2_x、Conv3_x、Conv4_x后，Conv4_x输出的Feature maps分别送入Region proposal network模块和ClassificationBoundingbox regression模块提取Regionproposals、挖掘困难样本；其中在ClassificationBoundingbox regression模块的ROI Pooling层后再加入Conv5_x的九层网络增强图像特征，提升后续物体分类效果。

3.如权利要求2所述的一种基于改进Faster R-CNN的道路环境视觉感知方法，其特征在于：所述步骤S2中，Region proposal network模块使用3*3大小的滑动窗遍历Conv4_x输出的Feature maps的每个像素点，位于滑动窗中心的锚点预测6种尺度、9种比例的54个anchor boxes；anchor boxes经Softmax层提取包含目标物体的Proposals，并使用边框回归法修正Proposals的坐标；最后使用Soft-NMS方法去掉重叠度高的包围框得到精确的Proposals。

4.如权利要求1所述的一种基于改进Faster R-CNN的道路环境视觉感知方法，其特征在于：所述步骤S3中，将Proposals送入ClassificationBoundingbox regression模块，该模块包括只读的Read-only ROI网络和具有前-后向传播功能的ROI-2网络，两个网络间共享权重；Proposals在Read-only ROI网络中计算分类损失和边框回归损失；然后将损失按降序排列，选择具有高损失性的Hard region proposal；最后将Hard region proposal输入ROI-2网络中计算困难样本的损失回传给卷积神经网络来更新整个网络参数，最终得到目标物体类别和位置的精准结果。