[发明专利]一种雷达与摄像机融合的行人检测方法和系统

说明书

本发明公开了一种雷达与摄像机融合的行人检测方法和系统，方法包括：构建用于行人检测的Mask RCNN网络结构，并对Mask RCNN网络结构进行预训练；接收雷达获取的待检测区域的雷达数据，对雷达数据进行聚类处理得到多种聚类点簇，并根据行人的物理属性对聚类点簇进行过滤，得到针对行人的聚类点簇；接收摄像机获取的待检测区域的图像数据，根据摄像机内外参将针对行人的聚类点簇转换为图像中的像素坐标，并通过卷积变换规则提取图像的感兴趣区域；将提取的感兴趣区域输入至预训练好的Mask RCNN网络结构中进行行人识别，输出行人检测结果。本发明将雷达和摄像机数据融合行人检测，利用硬件优势代替软件计算，降低了软件计算的复杂度，兼顾了准确性和时效性。

技术领域

本申请属于智能交通管理领域，具体涉及一种雷达与摄像机融合的行人检测方法和系统。

背景技术

行人检测作为汽车辅助驾驶的重要环节，近年来得到了广泛的关注和研究。行人检测是计算机领域的热门研究课题之一。单传感器行人检测方法基于雷达、红外、激光、摄像机等。其特点是设备简单，经济性好。然而采用单一传感器检测行人容易造成信息盲区，且信息表达具有局限性，利用多种传感器的信息融合已成为行人检测的发展趋势。行人检测的难点主要在两个方面：一是由于不同的行人之间的体型、姿态和着装等具有很大的差异，导致从可见光图像提取行人的特征具有一定的难度；二是可见光图像容易受到不同光照条件和阴影的影响，导致行人目标之间在图像上具有显著的差异。另外，现有方法仍然存在计算复杂、实时性不强等问题。

利用卷积神经网络学习目标特征最具代表性的是单阶段网络YOLO系列算法和两阶段网络RCNN系列算法。YOLO系列算法的第一个版本YOLOv1是Redmon等人2016年提出的，它是在保证检测准确率可观的基础上大幅度增加了检测网络的速度，而后相继提出的YOLO9000和YOLOv3更加有效地解决了YOLOv1网络的局限性，提高了网络检测对成群小目标检测准确率，并优化了目标难以精确定位的问题。

尽管单阶段网络的时效性已可以满足工业需求，但其准确率的提升仍然是一个瓶颈。两阶段网络RCNN系列算法被广泛应用在大多数行人检测器中。通过构建区域建议网络(RPN)提取可能含有行人的区域，利用检测网络对目标区域进行判别和分类。两阶段网络的检测精度较单阶段网络有明显提升，但其时效性差。简言之，单纯的基于卷积神经网络算法，在准确性和时效性方面存在鱼与熊掌不可兼得的问题，且单纯的图像也缺乏深度信息，难以进行三维重构。

基于激光雷达进行行人检测的难点在于设计一种有效描述行人的激光雷达点云特征。Premebida等提出了一种基于激光雷达的15维特征，用于在城市环境下进行行人检测。这些特征中的一部分特征，例如最小反射距离，聚类后的类内点个数等，Haselich等进一步用于行人检测的相关工作中。Serment等则根据雷达点云集合的3个特征向量构成2个新的平面，把所有的点云投影到这2个平面上。随后，在这2个新的平面上提取特征。然而所有算法对多个重叠目标，例如多个行人构成的人群，分类正确率还不是很高，无法将人群中的每一个独立个体分割开来。简言之，单纯的基于激光雷达的算法，虽然时效性高，但其准确性仍有待提高。

现有技术中也公开了一些行人检测的方法。

例如专利申请号为CN201610494537.7、专利名称为基于显著性检测和卷积神经网络的行人检测方法及装置的专利文献，选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型。然而，卷积神经网络时间复杂度高，检测的时效性难以保证。另外，单纯的二维图像缺乏深度信息，难以得到行人的三维位置信息。

又如专利申请号为CN201810481254.8、专利名称为一种激光雷达动态行人检测方法的专利文献，对激光检测的障碍物进行聚类算法分析，并组成特征集，针对类簇中的每个特征训练分类器，以此进行行人检测。然而算法对多个重叠目标，例如多个行人构成的人群，分类正确率还不是很高，检测的准确度难以保证。

发明内容