[发明专利]一种路口标志牌提取及关联的方法及装置

权利要求书

1.一种路口标志牌提取及关联的方法，其特征在于，包括：

获取道路激光点云数据及对应的连续帧图片数据；

通过无锚点框目标检测网络对连续帧图片进行路口目标检测，标记检测到目标时对应的轨迹点位置，根据轨迹点位置切割点云得到固定大小的路口激光点云块；

其中，将resnet作为骨架网络，通过空洞卷积和空间金字塔池化提取不同尺度目标特征；

融合多尺度特征构建热力图，并基于热力图中关键点预测目标框中心点，回归目标框尺寸；

基于路口图片及路口激光点云的融合特征进行三维目标检测，并根据相机参数和三维目标信息获取图像中目标的二维包围框，提取图像中路口标志牌；

识别路口标志牌中内容信息，根据路口标志牌中方向信息对标志牌进行分类；

获取标记的轨迹点附近的道路信息，将路口标志牌及标志牌内容信息与对应的道路关联。

2.根据权利要求1所述方法，其特征在于，所述基于路口图片及路口激光点云的融合特征进行三维目标检测包括：

基于轨迹点位置将三维激光点云投影到对应的二维图像上，根据图像特征图与激光点云投影特征图的比例关系进行特征融合；

基于融合得到的特征图生成三维提案，将三维提案转换为规范坐标，进行三维包围框预测。

3.根据权利要求1所述的方法，其特征在于，所述识别路口标志牌中内容信息包括：

通过空间变换网络将路口标志牌中地点信息文字矫正为正常线性排列的文字，结合端到端识别网络对地点信息文字进行识别。

4.根据权利要求1所述方法，其特征在于，所述获取标记的轨迹点附近的道路信息，将路口标志牌及标志牌内容信息与对应的道路关联还包括：

根据路口标志牌形状和大小去除激光点云中重复提取的路口标志牌，并将提取得到的路口标志牌和关联的道路反馈给高精度地图制作系统。

5.一种用于路口标志牌提取及关联的装置，其特征在于，包括：

获取模块，用于获取道路激光点云数据及对应的连续帧图片数据；

路口检测模块，用于通过无锚点框目标检测网络对连续帧图片进行路口目标检测，标记检测到目标时对应的轨迹点位置，根据轨迹点位置切割点云得到固定大小的路口激光点云块；

其中，将resnet作为骨架网络，通过空洞卷积和空间金字塔池化提取不同尺度目标特征；融合多尺度特征构建热力图，并基于热力图中关键点预测目标框中心点，回归目标框尺寸；

目标提取模块，用于基于路口图片及路口激光点云的融合特征进行三维目标检测，并根据相机参数和三维目标信息获取图像中目标的二维包围框，提取图像中路口标志牌；

识别模块，用于识别路口标志牌中内容信息，根据路口标志牌中方向信息对标志牌进行分类；

关联模块，用于获取标记的轨迹点附近的道路信息，将路口标志牌及标志牌内容信息与对应的道路关联。

6.根据权利要求5所述装置，其特征在于，所述基于路口图片及路口激光点云的融合特征进行三维目标检测包括：

基于轨迹点位置将三维激光点云投影到对应的二维图像上，根据图像特征图与激光点云投影特征图的比例关系进行特征融合；基于融合得到的特征图生成三维提案，将三维提案转换为规范坐标，进行三维包围框预测。

7.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述路口标志牌提取及关联的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述路口标志牌提取及关联的方法的步骤。