[发明专利]经由二维地图进行基于大规模CNN回归的定位

权利要求书

1.一种处理设备，用于对卷积神经网络(CNN)进行配置以在结构内执行自主重定位，所述处理设备包括：

图像处理器，用于处理经由传感器接收的视觉数据；

通用图形处理引擎，包括：

相机姿态估计器，用于估计一单位视觉数据的相机姿态；

点云生成器，用于基于一组估计相机姿态来生成点云；

位置变换逻辑，用于将所述点云内的位置变换为所述结构的地图内的位置；以及

CNN训练逻辑，用于训练所述CNN以预测图像在所述地图上的坐标，所述CNN训练逻辑用于使用图像位置对来训练所述CNN，其中，所述图像包括所述一单位视觉数据，并且所述位置包括所述一单位视觉数据在所述结构的所述地图内的位置。

2.如权利要求1所述的处理设备，其中，所述相机姿态估计器用于经由同步定位与建图来估计所述一单位视觉数据的所述相机姿态。

3.如权利要求2所述的处理设备，其中，所述图像处理器被配置成从经由所述传感器接收的所述视觉数据中导出深度数据。

4.如权利要求3所述的处理设备，其中，所述点云生成器用于基于所述一组估计相机姿态来生成三维(3D)点云。

5.如权利要求1所述的处理设备，其中，所述点云生成器用于进一步从所选观看者位置生成所述点云的屏幕截图，其中，所述屏幕截图是所述点云的横截面。

6.如权利要求5所述的处理设备，其中，位置变换逻辑进一步用于：

计算第一变换矩阵，以将与所述点云内的所述位置相关联的坐标变换为所述点云的所述屏幕截图内的坐标；

计算第二变换矩阵，以将所述点云的所述屏幕截图内的所述坐标变换为与所述结构的所述地图内的所述位置相关联的坐标；并且

计算第三变换矩阵，以将与所述点云内的所述位置相关联的所述坐标变换为与所述结构的所述地图内的所述位置相关联的坐标，所述第三变换矩阵是根据所述第一变换矩阵和所述第二变换矩阵来计算的。

7.如权利要求1所述的处理设备，所述通用图形处理引擎另外包括用于对所述图像位置对进行重新排序的逻辑，其中，对所述图像位置对进行重新排序包括随机重新排序、奇/偶行提取或行组合。

8.如权利要求1所述的处理设备，其中，所述CNN训练逻辑用于训练所述CNN以预测所述图像在所述地图上的坐标，以使得能够使用所述图像来进行自主重定位。

9.如权利要求1至8中任一项所述的处理设备，另外包括用于执行基于回归的重定位的CNN回归逻辑。

10.一种对卷积神经网络(CNN)进行配置以执行自主重定位的方法，所述方法包括：

采集结构内部的视觉数据；

对所述视觉数据执行相机姿态估计以生成一组相机姿态估计；

基于所述一组相机姿态估计来构建所述结构内部的三维(3D)点云；

将所述3D点云与所述结构内部的二维(2D)地图相关联；

将所述一组相机姿态估计的位置变换为所述结构内部的所述2D地图上的位置；以及

使用视觉数据和位置数据对来训练CNN回归模型。

11.如权利要求10所述的方法，另外包括从所述视觉数据导出所述结构内部的深度数据。

12.如权利要求11所述的方法，其中，所述视觉数据包括所述结构内部的视频数据或静止图像数据。

13.如权利要求10所述的方法，其中，将所述一组相机姿态估计的位置变换为所述结构内部的所述地图上的位置包括：计算变换矩阵以将所述一组相机姿态估计的位置变换为所述结构内部的所述2D地图内的坐标。