[发明专利]基于双目视觉定位的全息三维影像空间定量投影方法

说明书

基于双目视觉定位的全息三维影像空间定量投影方法，包括：(1)视觉标记物识别、(2)HoloLens标定、(3)HoloLens显示及(4)HoloLens标定校正四个步骤。本发明的方法适用于复杂的环境中，噪声敏感度低，对Marker具有良好的辨识度；基于机器人手眼标定原理，利用双目相机和Marker辅助标定HoloLens局部坐标系，将虚拟空间与真实空间相互联系，为定量投影全息三维影像奠定基础；全息三维影像空间投影精准，具有良好的实时性和稳定性；具有良好的移植性，应用场景广泛。

技术领域

本发明属于增强现实技术领域，尤其涉及一种基于双目视觉定位的全息三维影像空间定量投影方法。

背景技术

目前市场上先进的增强现实设备是Microsoft公司推出的HoloLens设备，现有与增强现实相关的研究与应用多数都是基于HoloLens设备。HoloLens是一款混合现实头戴式显示器，是第一款运行Windows 10操作系统的全息计算设备。HoloLens基于光学透视原理，仿照人眼自然成像方式，为用户营造沉浸式的舒适观看体验。HoloLens上有多个空间摄像头和传感器元件，不断地对周围环境扫描，通过即时定位与地图构建(SimultaneousLocalization and Mapping, SLAM)技术进行空间实时定位。HoloLens还具备语音、手势等多种交互功能，拥有先进的行业解决方案，并提供优秀的沉浸感体验。

开发者利用Unity等平台开发全息应用并部署于HoloLens设备中，当HoloLens启动全息应用时，会创建一个固定参考系(Stationary frame of reference)，该坐标系是虚拟场景下的世界坐标系，伴随在全息应用的整个运行生命周期中，并保持其建立之初的定义而固定在真实空间中，所有的全息影像模型的位姿描述和渲染均基于此世界坐标系。除了固定参考系外，HoloLens还会创建一个用于表征设备自身位姿的附加参考系(Attachedframe of reference)，该坐标系是虚拟场景下的局部坐标系，位于设备的主摄像头附近，通过HoloLens设备中的摄像头、陀螺仪等传感元件感知设备的旋转和平移，进而实时更新固定参考系。

简单举例来说，开发全息应用时将一个3D模型导入程序中，设置其位置为(1m,1m,1m)，在HoloLens中运行该全息应用时，3D模型的全息影像将显示在相对虚拟场景世界坐标系(1m, 1m,1m)的位置，旋转姿态同理。即使用户四周走动，由于虚拟场景世界坐标系相对真实空间是固定的，所以全息影像相对真实世界的位置始终不变，仿佛全息影像放置于真实空间中一样，达到了虚实融合的效果。

但是，通常开发者无法知道虚拟场景中世界坐标系在真实空间的具体参考位置，如何将虚拟空间与真实空间准确联系起来，是空间定量投影的核心问题。尤其在涉及使用HoloLens的全息影像进行定量操作的引导时，例如增强现实手术导航、远程操作协助等，需要将全息影像与实物精准融合配准，从而实现精密操作可视化。

现有研究利用HoloLens提供的语音、手势等交互功能，人工手动调整全息影像的位置姿态，不仅操作不方便，耗费时间长，且无法保证投影精度，难以实际推广应用。

发明内容

针对上述不足，本发明提出了一种基于双目视觉定位的全息三维影像空间定量投影方法，通过双目视觉系统识别视觉标志物，并对HoloLens设备进行标定，建立双目相机坐标系与 HoloLens坐标系之间的映射关系，然后在双目相机坐标系所表征的真实空间中指定位置和姿态，本方法可以将HoloLens产生的全息三维影像准确定量地投影在对应位置，可以应用于手术导航等领域。

本发明的实施例提供一种基于双目视觉定位的全息三维影像空间定量投影方法，所述方法包括：(1)视觉标记物识别、(2)HoloLens标定、(3)HoloLens显示及(4)HoloLens标定校正四个步骤。

根据本发明的一种实施方式，例如，所述(1)视觉标记物识别包括：