[发明专利]一种路侧激光雷达的车辆检测和轨迹预测方法有效
申请号: | 202111428653.6 | 申请日: | 2021-11-29 |
公开(公告)号: | CN114155720B | 公开(公告)日: | 2022-12-13 |
发明(设计)人: | 王亚飞;周志松;张智骋;陈炜邦 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G08G1/04 | 分类号: | G08G1/04;G06T7/70;G06N3/08 |
代理公司: | 上海科盛知识产权代理有限公司 31225 | 代理人: | 杨宏泰 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 激光雷达 车辆 检测 轨迹 预测 方法 | ||
1.一种路侧激光雷达的车辆检测和轨迹预测方法,其特征在于,该方法包括以下步骤:
步骤1:建立车辆检测和轨迹预测的多任务深度神经网络模型;
步骤2:基于公开数据集对多任务深度神经网络模型进行预训练;
步骤3:采用基于体素化处理的背景滤波法对点云进行背景滤波;
步骤4:基于自建路侧端数据集进行多任务深度神经网络模型的迁移训练;
步骤5:部署多任务深度神经网络模型,进行车辆的检测、跟踪和轨迹预测;
所述的步骤1中,多任务深度神经网络模型采用深度神经网络对车辆进行检测和轨迹预测,基于深度神经网络的多任务深度神经网络模型的结构具体为:
体素化层:对输入点云序列进行体素化,得到体素化的点云序列;
卷积层:对体素化后的点云序列连续使用两次2D卷积和3D卷积,得到将点云序列融合后的特征图;
网络主干层:采用网络主干对特征图提取更深层的特征,得到多尺度特征图;
输出分支层:包括两个输出分支,分别为目标检测分支和目标轨迹预测分支通过两个分支分别输出目标检测结果和目标预测轨迹;
所述的目标检测分支的输出表达式为:
(x,y,w,l,yaw,conf)
其中,(x,y)为车辆目标在地面坐标系下的坐标值,w为车辆目标的宽度,l为车辆目标的长度,yaw为车辆目标在地面坐标系下的朝向角,conf为车辆目标的置信度;
所述的目标轨迹预测分支的输出表达式为:
(dxi,dyi,dθi),i=1L 30
其中,i表示时间段为(i-1)/10秒至i/10秒,dxi和dyi分别为在(i-1)/10秒至i/10秒时间段内目标在地面坐标系的x方向上发生的位移预测量和y方向上发生的位移预测量,dθi为在(i-1)/10秒至i/10秒时间段内目标在地面坐标系下发生的朝向角预测量;
所述的目标检测结果包括检测边界框、检测的位置、检测的朝向角和检测的尺寸,所述的目标预测轨迹包括预测边界框、预测的位置、预测的朝向角和预测的尺寸;
所述的步骤2中,对多任务深度神经网络模型进行预训练的过程具体包括以下哪些步骤:
步骤201:对用以训练的公开数据集中的点云进行预处理,根据公开数据集中的地图信息剔除点云中的地面点和不可行驶区域内的点云;
步骤202:公开数据集中两帧点云的时间间隔为0.1秒,每隔0.2秒抽取0.5秒的片段数据,即连续5帧的点云,将片段数据通过公开数据集中的车姿信息统一到最后一帧的坐标系下;
步骤203:将经过预处理后且坐标系统一后的点云输入多任务深度神经网络模型进行预训练;
步骤204:预训练的训练目标为点云中的车辆的位置、尺寸、朝向角和未来轨迹;
所述的公开数据集具体为:
具有连续帧车辆标注且每一帧都带有车姿信息的激光雷达数据集,所述的公开数据集包括Argoverse数据集;
所述的步骤3中,基于体素采用背景滤波法对点云进行背景滤波的过程具体包括以下步骤:
步骤301:通过路侧激光雷达采集点云,得到一段无动态物体的点云序列;
步骤302:对采集到的点云序列进行体素化,将所有体素中出现过点云的体素标记为背景体素,其余标记为非背景体素,得到体素化后的背景帧;
步骤303:对背景帧进行实时背景滤除,判断点云是否落在背景帧中的背景体素上,若是,则为背景点,直接剔除,得到滤除背景点后的点云序列;
步骤304:对滤除背景点后的点云序列进行半径滤波,进一步剔除点云序列的噪声点;
所述的步骤4中,进行多任务深度神经网络模型的迁移训练的过程具体包括以下步骤:
步骤401:通过路侧激光雷达采集路端真实数据;
步骤402:对路端真实数据采用步骤3的背景滤波法剔除背景点后再输入多任务深度神经网络模型生成检测结果;
步骤403:对生成的检测结果进行人工筛选,得到自建路侧端数据集;
步骤404:采用步骤3的背景滤波法对自建路侧端数据集剔除背景点;
步骤405:将多任务深度神经网络模型在剔除背景点后的自建路侧数据集上进行迁移训练;
步骤406:迁移训练的训练目标为点云中的车辆的位置尺寸和朝向;
所述的步骤5中,进行车辆的检测、跟踪和轨迹预测的过程具体包括以下步骤:
步骤501:对路侧激光雷达采集到的点云用背景滤波法进行实时背景点云的滤除;
步骤502:将当前帧的背景滤波后的点云和过去0.5秒内的另外4帧经过背景滤波的点云一起输入至经过迁移训练后的多任务深度神经网络模型中,得到目标检测结果和轨迹预测结果;
步骤503:将上一帧所有目标的预测边界框与当前帧所有目标的检测边界框进行一一匹配,完成对所有目标的跟踪,得到目标检测跟踪结果;
步骤504:通过路侧通讯设备对目标检测跟踪结果和轨迹预测结果进行广播。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111428653.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:图片展示方法、装置、电子设备及存储介质
- 下一篇:集成波长锁定器