[发明专利]基于无标记识别的增强现实方法、装置、设备及介质

说明书

本发明公开了一种基于无标记识别的增强现实方法，涉及室内增强现实技术领域，能克服有标记增强现实的局限性，实现无标记增强现实的功能，且在光线变化较大和快速运动的情况下具有稳定的性能。该方法包括以下步骤：视觉信息和IMU信息的获取；实时视频流信息的标定；对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；计算虚拟3D模型的实时显示视角，在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。本发明还公开了一种基于无标记识别的增强现实装置、电子设备和计算机存储介质。本发明通过对IMU信息和视觉信息的结合，能获得更好的增强现实效果。

技术领域

本发明涉及室内增强现实领域，尤其涉及一种基于无标记识别的增强现实方法、装置、设备及介质。

背景技术

增强现实(AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术模拟仿真后再叠加，实现将虚拟的信息应用到真实世界，从而被人类感官所感知，达到超越现实的感官体验。简单地说，增强现实技术实现了将真实的环境和虚拟的物体实时地叠加到同一个画面或空间使其同时存在。

目前，人们利用人工标识方法来获取虚实注册所需的AR系统中的相机机信息，包括位置信息、姿态信息。基于人工标识方法来获取相机信息，虽然能方便的进行识别跟踪，但是存在改变场景真实性的缺点，使得增强现实效果不自然。如当前流行的AR应用开发框架ARToolKit是此类方法的经典代表。而人工标识方法还存在需要显示场景始终位于用户视线范围之内的问题，为解决这一问题，研究人员选择利用显示场景中的自然特征，如平面、特征点、线段等来完成虚实注册的新方法。

但随着AR技术应用范围更加广阔，在构建增强现实时需要应对更加复杂的未知环境以及变化的人眼视线。为增加AR技术的灵活性和实用性，需要在视觉定位技术上作出改进。而在Davision博士提出的基于单目视觉的实时同步定位和地图构建(SLAM)研究中，使用了全状态扩展卡尔曼滤波器跟踪少量Harris角点，以实现室内环境下逐帧更新相机的姿态，在视觉定位领域做出了重要贡献。但是该算法在光线变化较大和快速运动的情况下性能较不稳定，主要是因为单目视觉系统无法恢复绝对尺度，所以限制了它在虚拟现实世界中的应用。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于无标记识别的增强现实方法，克服了有标记增强现实的局限性，实现无标记增强现实的功能，且在光线变化较大和快速运动的情况下具有稳定的性能。

本发明的目的之一采用以下技术方案实现：

一种基于无标记识别的增强现实方法，包括以下步骤：

接收视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；

获取相机的实时视频流信息，并结合预处理后的IMU信息进行角速度偏置标定和速度向量、尺度、重量向量标定，得到标定后的IMU信息包括角速度标定信息、速度向量标定信息、绝对尺度标定信息和重量向量标定信息；

对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；

根据重量向量标定信息，计算出虚拟物体放置平面的法向量；

根据所述相机的实时位姿，计算出虚拟3D模型的实时显示视角，最后在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。

进一步地，所述视觉信息的预处理为：使用RGB相机获取实时的三维场景信息，提取图像中的特征点；所述IMU信息的预处理为：获取相机实时的IMU信息，对视觉两帧之间的时间内获得的IMU信息进行预计分，预估出相机的位置信息、速度信息、旋转信息。

进一步地，获取相机的实时视频流信息的方法为：将实时视频流按照视觉SLAM算法运行若干时间，同时记录所述若干时间内的视频流信息，包括位置信息、速度信息、旋转信息；