[发明专利]一种环境重建方法及装置

说明书

本发明公开了一种环境重建方法及装置，涉及三维重建技术领域。用以解决环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。包括：激光雷达传感器和毫米波雷达传感器依次对待检测物进行扫描，得到激光雷达点云张量、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像、毫米波雷达的二维点云伪图像、毫米波‑激光雷达数据的特征；将毫米波‑激光雷达数据的特征和双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到待检测物的融合特征图和待检测物的三维图像。

技术领域

本发明涉及三维重建技术领域，更具体的涉及一种环境重建方法及装置。

背景技术

随着计算机技术的发展，环境检测数据越来越重要，并且广泛用于孪生城市、高精地图以及同步定位等领域。但由于视觉传感器在弱纹理环境下很难提取有效的特征，而且受光照影响较大，从而影响双目视觉传感器工作。

激光传感器在空旷环境等会出现退化问题，而且在雨雪等极端天气下会产生过多噪声。毫米波雷达对于静止的物体和运动的非金属物体不太敏感，不太容易得到障碍物的轮廓。

综上所述，现有环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。

发明内容

本发明实施例提供一种环境重建方法及装置，用以解决现有环境检测重建中激光雷达和毫米波雷达在数据层的点云数据融合存在传感器误差、点云数据和像素数据的融合存在精度低的问题。

本发明实施例提供一种环境重建方法，包括：

根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；

所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；

将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；

所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。

优选地，所述根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器之前，还包括：

根据激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板的位置，建立全局坐标系；其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板之间的距离、角度均为固定值；

根据激光雷达传感器、毫米波传感器和双目视觉传感器在全局坐标系内的位置，依次得到激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标；

依次将激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标依次转换为全局坐标激光雷达矩阵、全局坐标毫米波矩阵和全局坐标双目视觉矩阵；

根据全局坐标激光雷达矩阵和全局坐标毫米波矩阵确定全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵。

优选地，所述全局坐标激光雷达矩阵为：