[发明专利]基于无标记识别的增强现实方法、装置、设备及介质

权利要求书

1.一种基于无标记识别的增强现实方法，其特征在于，包括以下步骤：

接收视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；

获取相机的实时视频流信息，并结合预处理后的IMU信息进行角速度偏置标定和速度向量、尺度、重量向量标定，得到标定后的IMU信息包括角速度标定信息、速度向量标定信息、绝对尺度标定信息和重量向量标定信息；

对标定后的IMU信息进行跟踪定位，以获得相机的实时位姿；

根据重量向量标定信息，计算出虚拟物体放置平面的法向量；

根据所述相机的实时位姿，计算出虚拟3D模型的实时显示视角，最后在所述虚拟物体放置平面上，绘制出实时显示视角下的实时虚拟3D模型进行合并显示。

2.如权利要求1所述的基于无标记识别的增强现实方法，其特征在于，所述视觉信息的预处理为：使用RGB相机获取实时的三维场景信息，提取图像中的特征点；所述IMU信息的预处理为：获取相机实时的IMU信息后，对视觉两帧之间的时间内获得的IMU信息进行预计分，预估出相机的位置信息、速度信息、旋转信息。

3.如权利要求1或2所述的基于无标记识别的增强现实方法，其特征在于，获取相机的实时视频流信息的方法为：将实时视频流按照视觉SLAM算法运行若干时间，同时记录所述若干时间内的视频流信息，包括位置信息、速度信息、旋转信息；

结合预处理后的IMU信息进行角速度偏置标定的方法为：将视觉SLAM算法得到若干时间内的旋转信息和IMU信息中的旋转信息进行手眼标定，以校正旋转偏置；

结合预处理后的IMU信息进行速度向量、尺度、重量向量标定的方法为：令若干时间内的视觉SLAM算法得到速度信息、位置信息与所述IMU信息的速度信息、位置信息相等，补全视觉SLAM算法缺少的速度、尺度和重量信息。

4.如权利要求3所述的基于无标记识别的增强现实方法，其特征在于，利用视觉SLAM算法对标定后的IMU信息进行跟踪定位的具体步骤为：

跟踪标定后的IMU信息和预处理后的视觉信息，计算出相机位姿，并跟踪局部地图，根据设定的阈值生成关键帧，并将所述关键帧加入关键帧序列；

检查所述关键帧序列，并处理新生成的关键帧，剔除冗余的匹配点并生成新的匹配点，同时对局部地图进行优化并剔除冗余的关键帧；

再次检查关键帧队列，使用预先建立的视觉词典进行回环检测，根据回环检测结果判断是否进行闭环校正和全局地图优化。

5.如权利要求4所述的基于无标记识别的增强现实方法，其特征在于，当回环检测结果表明发生回环时，进行闭环校正和全局地图优化。

6.一种基于无标记识别的增强现实装置，其特征在于，包括：

信息获取模块，用于获取视觉信息和IMU信息，并对所述视觉信息和IMU信息进行预处理；

视觉惯导联合初始化模块，基于预处理后的所述IMU信息进行角度偏置标定和速度向量、绝对尺度、重力向量标定；

定位跟踪模块，跟踪所述视觉惯导联合初始化模块标定的信息，获取相机的实时位姿；

合成显示模块，根据所述相机的实时位姿和重力向量标定，分别计算出显示虚拟3D模型的显示视角和虚拟物品放置平面的法向量，并绘制显示视角下的虚拟3D模型进行合成显示。

7.如权利要求6所述的基于无标记识别的增强现实装置，其特征在于，所述定位跟踪模块包括跟踪模块、局部地图模块和回环检测模块，所述跟踪模块用于计算相机位姿和跟踪局部地图，并构建关键帧序列；所述局部地图模块，用于对关键帧序列和局部地图进行优化；所述回环检测模块，用于对所述关键帧序列进行回环检测，并进行闭环校正和全局地图优化。

8.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的基于无标记识别的增强现实方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的基于无标记识别的增强现实方法。