[发明专利]一种虚实重合的增强现实显示方法和装置

说明书

本发明公开一种虚实重合的增强现实显示方法和装置，其中，所述方法包括：采集真实世界中目标物体图像，并获取摄像头位姿；根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系；将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。本发明解决了视频穿透式AR设备虚实不重合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题，能够改善用户体验，且实现过程方便、通用性强。

技术领域

本发明涉及增强现实技术领域，具体是一种虚实重合的增强现实显示方法和装置。

背景技术

目前，头戴式AR设备主要有两种显示方式：视频透视式(Video See-Through)和光学透视式(Optical See-Through)。透视式指AR设备使用半透明镜片，人眼可直接透过镜片看到外部的现实景象。视频透视式指将摄像头采集到的图像与叠加的信息叠加后以视频或图像流的方式在虚像屏幕上显示，虚像屏幕显示图像与人眼直接看到的现实画面不重合，即虚实不重合。光学透视式指通过光学原理和设备将增强的信息直接叠加在人眼透过镜片看到的现实画面中的相应位置上，屏幕上只显示增强的信息。后者不存在虚实不重合的问题，但对硬件设备及软件技术的要求非常高。因此，目前市面上大多数头戴式AR设备均采用视频透视式显示方式，如Epson BT200等。对于视频透视式AR设备而言，由于虚实不重合产生的重影会对用户造成视觉干扰。

此外，传统的视频透视式显示方式中，通过AR设备看到的虚像与人眼距离是固定的(如：2米)，而现实场景的画面与人眼距离是变化的(如：0.5-5米)。屏幕画面与现实场景的画面不在一个平面，即虚实不贴合。然而，在任一时刻，人眼只可聚焦到一个平面。因此，在使用过程中，用户需要不断在屏幕与现实场景中切换聚焦点，影响用户体验。长时间佩戴，容易造成视觉疲劳，并对视力造成伤害。在工业、医疗、军事等作业环境下，以上这些问题的存在容易导致生产、医疗等事故的发生。

发明内容

本发明为了克服现有技术的不足，提出一种虚实重合的增强现实显示方法和装置，旨在解决视频穿透式AR设备虚实不重合、不贴合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题，能够改善用户体验，且实现过程方便、通用性强。

为了解决上述的技术问题，本发明提出的基本技术方案为：

采集真实世界中目标物体图像，并获取摄像头位姿；

根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；

获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系；

将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕；或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。

其中，采集真实世界中目标物体图像，并获取摄像头位姿进一步包括：

建立目标物体的模型；

利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配，得到摄像头位姿。

其中，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括：

获取真实世界中目标物体图像上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影坐标，得到两者的变换关系f₁；

获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标，得到两者的变换关系f₂；