[发明专利]一种环境重建方法及装置

权利要求书

1.一种环境重建方法，其特征在于，包括：

根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器，其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和待检测物之间的距离、角度均为固定值；

所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量；将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像；

将激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像输入至下采样卷积网络，得到毫米波-激光雷达数据的特征；将所述毫米波-激光雷达数据的特征和所述双目视觉传感器得到的双目视觉特征通过卷积神经网络，得到所述待检测物的融合特征图；

所述待检测物的融合特征图采用PCL Poisson表面重建法重建，得到所述待检测物的三维图像。

2.如权利要求1所述的方法，其特征在于，所述根据待检测物的位置，依次设置激光雷达传感器、毫米波雷达传感器、双目视觉传感器之前，还包括：

根据激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板的位置，建立全局坐标系；其中，激光雷达传感器、毫米波雷达传感器、双目视觉传感器和标定板之间的距离、角度均为固定值；

根据激光雷达传感器、毫米波传感器和双目视觉传感器在全局坐标系内的位置，依次得到激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标；

依次将激光雷达传感器、毫米波传感器和双目视觉传感器相对于全局坐标系的激光雷达坐标、毫米波坐标和双目视觉坐标依次转换为全局坐标激光雷达矩阵、全局坐标毫米波矩阵和全局坐标双目视觉矩阵；

根据全局坐标激光雷达矩阵和全局坐标毫米波矩阵确定全局坐标系下激光雷达传感器和毫米波传感器之间的转换矩阵。

3.如权利要求2所述的方法，其特征在于，所述全局坐标激光雷达矩阵为：

其中，R表示表示旋转参数，T表示平移参数，K表示激光雷达坐标转换为全局坐标系的转换矩阵；

全局坐标双目视觉矩阵：

其中，f表示相机的焦距，S表示双目视觉坐标转换为全局坐标系的转换矩阵；

全局坐标毫米波矩阵为：

其中，θ表示毫米波雷达坐标系原点与全局坐标系原点和X坐标轴的角度，Q表示毫米波坐标转换为全局坐标系的转换矩阵。

4.如权利要求1所述的方法，其特征在于，所述激光雷达传感器和所述毫米波雷达传感器依次对所述待检测物进行扫描，分别得到激光雷达点云数据、激光雷达点云张量、毫米波雷达点云数据、毫米波雷达点云张量，具体包括：

将所述激光雷达点云数据进行编码，得到激光雷达点云张量；其中，激光雷达点云张量为(D，N，P)，D是激光雷达所对应的整体点云柱的特征维度，N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量；

将毫米波雷达点云数据进行编码，得到毫米波雷达点云张量；其中，毫米波雷达点云张量为(M，N，P)，M是毫米波雷达所对应的整体点云柱的特征维度，N为单点云柱中点云数据的个数，P是非空点云柱柱体的数量。

5.如权利要求1所述的方法，其特征在于，所述将激光雷达点云张量和毫米波雷达点云张量进行卷积和最大池化，得到激光雷达二维点云伪图像和毫米波雷达的二维点云伪图像，具体包括：

将所述激光雷达点云张量(D，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到激光雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的激光雷达二维点云伪图像；

将所述毫米波雷达点云张量(M，N，P)进行C次1*1卷积并进行线性变化，对激光雷达包括的每个点云柱进行最大池化操作，得到毫米波雷达特征矩阵(C，P)，将P个非空点云柱内的点映射回检测范围内的原始位置，得到大小为(C，W，H)的毫米波雷达二维点云伪图像；

其中，C为正整数，表示卷积次数；W表示最右侧点减去最左侧点得到的图像宽度，H表示最上侧点减去最下侧点得到的图像高度。