[发明专利]一种基于热像仪和激光雷达的车前行人检测方法及终端

权利要求书

1.一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，包括步骤：

S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；

S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；

S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。

2.根据权利要求1所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述步骤S1具体为：

预先开启部署在车辆外侧顶端的所述热像仪和所述激光雷达，获取所述热像仪的热像图和所述激光雷达的点云数据，将点云数据的坐标系转换到热像图的坐标系中，使得同一视野内的点云图像的每个坐标点与热像图的每个坐标点配准，转换公式为：

Y＝R*(R|T)*X；

其中，R为所述热像仪的内参矩阵，(R|T)为所述激光雷达到相机的转换矩阵，X为所述激光雷达的坐标点。

3.根据权利要求2所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述神经网络算法为yolov4算法，所述步骤S2具体为：

S21、利用所述热像仪预先采集不同场景下的车辆前方的行人热像图，并对所述行人热像图进行归一化预处理；

S22、将归一化预处理后的所述行人热像图按照7:2:1的比例随机划分为训练集、验证集和测试集，并将所述训练集、所述验证集和所述测试集输入到yolov4算法中；

S23、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集训练所述yolov4算法，拟合得到多个模型，然后采用验证集验证多个模型的准确率，选出最佳的模型作为行人识别模型，最后采用所述测试集对所述行人识别模型进行预测，修正所述行人模型的精度和运算速度。

4.根据权利要求3所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述步骤S3具体为：

S31、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中；

S32、先利用所述行人识别模型对所述热像仪实时采集到的热像图进行逐帧识别，判断车辆前方是否存在行人，若不存在行人，则继续识别下一帧热像图，若存在行人，则在这一帧热像图上标记出行人所在的区域，并执行步骤S43；

S33、根据所述转换公式，获取热像图中行人所在的区域的坐标点，对应到这一帧的所述激光雷达采集到的点云数据中，读取所述坐标点与当前车辆距离的雷达数据，得到行人与当前车辆的距离，并在所述车载显示屏中显示的热像图中标出。

5.根据权利要求1所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述步骤S3之后还包括步骤：

S4、预设安全距离及其阈值，当所述步骤S4中得到的行人与当前车辆的距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。

6.一种基于热像仪和激光雷达的车前行人检测终端，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；

S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；

S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。