[发明专利]一种定位建图优化方法、装置及定位建图优化芯片

说明书

本发明适用于头戴显示设备技术领域，提供了一种定位建图优化方法、装置及定位建图优化芯片，方法包括：响应于定位建图指令，调用第一传输模块获取输入图像和深度图像，调用第二传输模块获取传感器数据；将输入图像发送至图像处理模块，以使图像处理模块根据输入图像计算特征描述子；数据打包模块中，调用时戳产生模块在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签；调用数据打包模块根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的数据包装后输出，以通过SLAM算法执行定位建图指令。通过本发明可以减轻SLAM算法执行时的计算负荷。

技术领域

本发明涉及头戴显示设备技术领域，尤其涉及一种定位建图优化方法、装置及定位建图优化芯片。

背景技术

头戴显示设备是AR(Augmented Reality Technique，增强现实技术)的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中。目前的AR产品有一体式AR眼镜，其内置有电池，包含完整的计算处理单元和所有电子器件，能够独立工作并满足AR功能需求。

上述的计算处理单元中通常结合SLAM(Simultaneous Localization andMapping，即时定位与地图构建)技术实现视觉定位和地图构建，但一般采用通用CPU芯片来计算，计算负荷大，延时大，多路数据难以同步。

发明内容

本发明的主要目的在于提出一种定位建图优化方法、装置及定位建图优化芯片，以解决现有技术中一体式AR眼镜所使用的处理芯片计算负荷大，有较高延时，数据同步难的问题。

为实现上述目的，本发明实施例第一方面提供一种定位建图优化方法，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：

响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；

将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；

将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；

在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；

调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。

结合本发明第一方面，本发明第一实施方式中，调用所述第一传输模块获取输入图像和深度图像，包括：

调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；

调用所述第一传输模块从深度摄像头获取所述深度图像。

结合本发明第一方面第一实施方式，本发明第二实施方式中，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：

分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；

所述图像处理模块根据所述输入图像计算特征描述子，包括：

对所述输入图像进行处理，获得N层处理图像和计算描述子；

计算第i层处理图像的像素的角点值；