[发明专利]一种雷达与摄像机融合的行人检测方法和系统

权利要求书

1.一种雷达与摄像机融合的行人检测方法，用于对待检测区域内的行人进行识别检测，其特征在于，所述雷达与摄像机融合的行人检测方法，包括：

构建用于行人检测的Mask RCNN网络结构，并对Mask RCNN网络结构进行预训练；所述Mask RCNN网络结构包括两部分：第一部分是共享的卷积层，第二部分是对感兴趣区域进行分类的神经网络classifier；

接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；

接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；

将提取的感兴趣区域输入至预训练好的Mask RCNN网络结构中进行行人识别，输出行人检测结果。

2.如权利要求1所述的雷达与摄像机融合的行人检测方法，其特征在于，所述对MaskRCNN网络结构进行预训练，包括：

通过摄像机获取指定区域的若干样本图像，对样本图像进行标注，并且对标注后的样本图像进行平移变换和旋转变换得到新的样本图像，将所有标注后的样本图像以及从公开数据集COCO获取的样本图像按预设比例拆分为训练集和测试集；

利用所述训练集迭代优化Mask RCNN网络结构，直至利用所述测试集验证Mask RCNN网络结构满足要求。

3.如权利要求2所述的雷达与摄像机融合的行人检测方法，其特征在于，所述利用训练集迭代优化Mask RCNN网络结构，直至利用测试集验证Mask RCNN网络结构满足要求，包括：

定义混淆矩阵；

根据所述混淆矩阵，以及Mask RCNN网络结构输出的行人检测结果和测试集中样本图像，计算准确率和召回率；

若准确率>0.9且召回率>0.9，则结束训练并输出当前的Mask RCNN网络结构；否则重新利用训练集优化Mask RCNN网络结构。

4.如权利要求2所述的雷达与摄像机融合的行人检测方法，其特征在于，所述神经网络classifier包括全连接层FC layers，所述全连接层FC layers的输出尺寸为2。

5.一种雷达与摄像机融合的行人检测系统，用于对待检测区域内的行人进行识别检测，其特征在于，所述雷达与摄像机融合的行人检测系统，包括：

网络构建模块，用于构建用于行人检测的Mask RCNN网络结构，并对Mask RCNN网络结构进行预训练；所述Mask RCNN网络结构包括两部分：第一部分是共享的卷积层，第二部分是对感兴趣区域进行分类的神经网络classifier；

雷达数据处理模块，用于接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；

摄像机数据处理模块，用于接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；

检测模块，用于将提取的感兴趣区域输入至预训练好的Mask RCNN网络结构中进行行人识别，输出行人检测结果。

6.如权利要求5所述的雷达与摄像机融合的行人检测系统，其特征在于，所述对MaskRCNN网络结构进行预训练，执行如下操作：

通过摄像机获取指定区域的若干样本图像，对样本图像进行标注，并且对标注后的样本图像进行平移变换和旋转变换得到新的样本图像，将所有标注后的样本图像以及从公开数据集COCO获取的样本图像按预设比例拆分为训练集和测试集；

利用所述训练集迭代优化Mask RCNN网络结构，直至利用所述测试集验证Mask RCNN网络结构满足要求。