[发明专利]信息处理方法及装置、增强现实设备和可读存储介质

说明书

本公开提供了一种信息处理方法，包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。本公开还提供了一种信息处理装置、一种增强现实设备及一种计算机可读存储介质。

技术领域

本公开涉及增强现实技术领域；尤其涉及一种信息处理方法及装置、增强现实设备和可读存储介质。

背景技术

随着科技的快速发展，将真实世界信息和虚拟世界信息“无缝”集成的新技术增强现实有望能够应用于更多场景中，以丰富现实世界，构建更加丰富和美好的世界。

相关技术中，在增强现实设备遇到镜面环境时，由于镜面反射出的图像会随着增强现实设备中相机的运动而改变位置，从而导致在前后两帧图像中匹配的特征点在实际三维空间中的位置并不相同。这无疑会使得增强现实设备在图像处理时出现严重的错误匹配，从而影响显示虚拟图像的精度。

发明内容

本公开的一个方面提供了一种信息处理方法，该方法包括：获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；以及根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定。针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。

可选地，从第一图像中提取得到一个或多个第一特征包括：根据第二特征在相机坐标系中的预测位置，确定第二特征在第一图像中的预测位置；以第二特征在第一图像中的预测位置为中心，确定第一图像的追踪范围；以及根据追踪范围，采用光流法追踪得到一个或多个第一特征。

可选地，上述信息处理方法还包括在提取得到一个或多个第一特征之后：获得惯性传感器在当前时刻的第一运动信息；以及根据第一运动信息，确定针对下一时刻的预测信息，以更新针对当前时刻的预测信息。

可选地，上述根据第一运动信息，确定针对下一时刻的预测信息包括：根据第一运动信息和相机与惯性传感器之间的外参，确定相机在当前时刻的第二运动信息；以及根据第二运动信息，确定针对下一时刻的预测信息。

可选地，上述信息处理方法还包括在获得第一运动信息之前，获得惯性传感器检测得到的惯性数据。上述根据第二运动信息，确定针对下一时刻的预测信息包括：获得一个或多个第一特征在第一图像中的第一位置信息；根据第一位置信息、惯性数据和前一时刻的图像中与一个或多个第一特征匹配的特征的第二位置信息，确定相机的位姿信息；以及根据一个或多个第一特征中第三特征的第一位置信息、位姿信息及第二运动信息，确定针对下一时刻的预测信息。其中，第三特征包括从当前时刻的第二图像中提取得到的特征。

可选地，上述信息处理方法还包括在获得增强现实设备所在物理空间的当前时刻的图像之前：标定相机和惯性传感器，得到相机和惯性传感器之间的外参。

本公开的另一方面提供了一种信息处理装置，该装置包括：图像获得模块，用于获得增强现实设备所在物理空间的当前时刻的第一图像，该第一图像包括通过镜面反射的第二图像；特征提取模块，用于根据针对当前时刻的预测信息，从第一图像中提取得到一个或多个第一特征，以根据一个或多个第一特征在确定相机的位姿信息。其中，增强现实设备包括相机和惯性传感器；预测信息根据增强现实设备中惯性传感器的运动信息确定；针对当前时刻的预测信息包括第二特征在相机坐标系中的预测位置，第二特征包括从前一时刻的第二图像中提取得到的特征，一个或多个第一特征不包括第二特征。