[发明专利]一种云端与终端结合实现的全景增强现实实现方法

摘要

本发明公开了一种云端与终端结合实现的全景增强现实实现方法，包括下列的步骤：步骤1)在云端预置有至少两幅模版图像；步骤2)终端设备上开启摄像头和陀螺仪，并通过摄像头以固定分辨率、固定频率获取真实环境的图像；通过陀螺仪中获取到当前设备的一个姿态的欧拉角；步骤3)终端设备定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的旋转数据GR；将CP和GR上传到云端；云端据此计算出CP中是否有包含模版图像，当云端从CP中识别到了模版图像，会返回识别结果给终端设备；步骤4)终端设备接收云端返回的识别结果将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中。

主权项

1.一种云端与终端结合实现的全景增强现实实现方法，其特征在于，包括下列的步骤：

步骤1)在云端预置有至少两幅模版图像；

步骤2)终端设备上开启摄像头和陀螺仪，并通过摄像头以固定分辨率、固定频率获取真实环境的图像；通过陀螺仪中获取到当前设备的一个姿态的欧拉角GR，其中，陀螺仪Z轴正方向为摄像机方向；

步骤3)当用户控制终端设备在真实空间随意旋转移动时，终端设备定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的旋转数据GR；将CP和GR上传到云端；

云端据此计算出CP中是否有包含模版图像，当云端从CP中识别到了模版图像，会返回识别结果给终端设备；

步骤4)终端设备接收云端返回的识别结果，如结果中包含图像名、变换矩阵和GR，则认为云端正确识别到了该图像，此时终端设备将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，用户看到虚拟场景中展示的信息与真实环境中的模版图像完全贴合。

2.根据权利要求1所述的云端与终端结合实现的全景增强现实实现方法，其特征在于，步骤2)中，

如终端设备的3D引擎的坐标系和陀螺仪的坐标可能不一致，则根据3D引擎的坐标系进行坐标系的转换，记转换后的欧拉角为GR(α,β,γ)，场景中陀螺仪Z轴正方向为摄像机方向。

3.根据权利要求2所述的云端与终端结合实现的全景增强现实实现方法，其特征在于，步骤3)中，云端据此计算出CP中是否有包含模版图像，如有包含可计算出模版图像在CP中的变换矩阵T，T是一个3*4的矩阵，表示模版图像在CP中的旋转和位移；

其中R表示旋转，T表示了位移，t1、t2、t3分别表示在x、y、z轴的位移；当云端从CP中识别到了模版图像，会返回该模版图像名、变换矩阵T和终端设备上传的GR给终端设备。

4.根据权利要求2所述的云端与终端结合实现的全景增强现实实现方法，其特征在于，步骤4)中，终端设备将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，包括：

a:场景中陀螺仪Z轴正方向为摄像机方向，需要获得欧拉角GR在直角坐标系中的Z+轴方向的球坐标方向角有如下转换关系：

θ＝β；

再取T矩阵中的t3，令r＝t3，结合方向角n构件一个球坐标再将球坐标OP转换为世界坐标系中的点的坐标WP(x,y,z):

z＝r*cosθ.

最终展示信息在虚拟场景中绘制位置为：P(x+t1,y+t2,z)；

b:变换矩阵T中的旋转信息直接表示了模版图像在CP中的相对旋转，需要叠加上截取这张图片时终端设备的姿态欧拉角GR：

先将旋转矩阵T转换为四元数Q1，根据旋转矩阵转四元数的公式：

可得转换后的旋转Q1(q1,q2,q3,q0),为了便于运算再将姿态欧拉角GR转换为四元数的表达方式：

姿态欧拉角GR转换为四元数Q2(x,y,z,w)；定义一个四元数Q3＝(1，0，0，0)，代表绕X轴旋转180度；

最终展示信息在虚拟场景中的旋转为：Q＝Q1*Q2＊Q3。

5.根据权利要求1或2所述的云端与终端结合实现的全景增强现实实现方法，其特征在于，

还包括步骤5)：当用户手持终端设备对着周围环境后，相应的展示信息就回如同图像追踪一样，完美的与环境相结合。