[发明专利]一种基于增强现实的虚拟现实实现方法

摘要

本发明公开了一种基于增强现实的虚拟现实实现方法。本方法为1)通过相机采集场景的深度图像序列和RGB序列；2)根据采集的深度图像序列、RGB序列生成该场景的RGBD四通道图像序列；3)根据该RGBD计算出两帧间相机的旋转矩阵与平移向量；从该场景的RGBD中识别出场景中的目标物体、平面结构及其在三维空间中的位置信息；将该RGBD转换为双目视图序列；4)将该双目视图呈现于该相机的屏幕上，根据场景中平面结构在三维空间中的位置信息在该场景中绘制该目标物体的虚拟三维模型并根据相机的旋转矩阵和平移向量对该虚拟三维模型进行变换，使之与所附着的平面结构呈现相对静止。本发明能够准确、快速算出需要呈现的图像。

主权项

一种基于增强现实的虚拟现实实现方法，其特征在于包括如下步骤：步骤一、相机标定配准；首先对输入的场景的RGB与Depth图像序列进行预处理，以实现用棋盘格标定法对相机进行标定；转化矩阵如下：suv1=Ar1r2r3tXY01=Ar1r2tXY1]]>其中，s代表深度相机的缩放因子，u、v是彩色相机像平面的横坐标和纵坐标，A是彩色相机的内参矩阵，r1r2r3代表旋转向量，t是位移向量，X、Y是现实三维空间中横坐标和纵坐标；深度相机和彩色相机的标定，使得两个相机获得的像素之间产生对应关系，相机标定之后无需对接下来获取到的每一帧图片进行配准处理，只要直接将相机获取的RGB与Depth图像序列输入相机标定过程中得到的配准模型便可获取RGB‑D图像序列；步骤二、相机定位；2‑1.利用ORB特征提取算法对RGB‑D图像序列两帧间图片的特征点进行提取，并对得到的特征点进行特定描述，从而得到两帧间图片的特征点相似程度；2‑2.根据所描述的两帧之间特征点相似程度，实现相邻两帧图片的关键点匹配，再对匹配后的特征点进行检测，如果为误匹配，则删除不匹配的关键点，重新对相邻两帧图片的关键点进行匹配；如果匹配正确，则建立优化模型计算出相邻两帧图片间相机的空间位置变化，即相机的旋转矩阵Ei与平移向量gi；优化模型如下：minEi,giΣi=1N||pi-(Eiqi+gi)||2]]>其中，pi和qi分别是相邻两帧图像的特征点，都包含RGB‑D信息，都是以三维矩阵形式进行存储，具体的大小视匹配所得的特征点对的数量而定；N为RGB‑D四通道图像序列的总帧数；Ei是大小为3×3的旋转矩阵，gi是大小为3×1的平移向量；步骤三、场景布局识别；首先通过边缘检测和对角线判定方法对场景的RGB‑D四通道图像序列进行处理，识别出场景中的平面结构并得到其在三维空间中的位置信息，对平面结构特征点的跟踪实现对平面结构在视频中的跟踪；然后获取通过机器学习的方法识别出的场景中的物体信息，便于用户对未知物体信息的检索；步骤四、双目视图生成阶段；当已知实际环境的三维模型之后，能够将像素投影到3D空间；估计人眼相机参数，将3D空间进行投影变换转换成双目视图；步骤五、虚拟现实实现阶段；首先，通过步骤四，将相机采集到的RGB‑D场景图像转换为双目视图，并将该双目视图呈现于手机屏幕上，然后将手机置于虚拟现实头盔中，达到直接佩戴虚拟现实头盔即可观看到现实场景的效果；其次通过步骤三识别出场景中的平面结构并得到其所在三维空间中的位置信息；然后根据该位置信息将目标虚拟三维模型构建于该平面上；随着相机的移动，通过步骤二实时得到相机的旋转矩阵和平移向量，并将其作用于虚拟三维模型上，使之与所附着的平面结构呈现相对静止的状态，进而达到虚拟物体自然放置于平面上的效果；当此平面结构脱离视线时，虚拟三维模型也将在视野里消失；当再次识别到平面结构时，将会再次生成虚拟三维模型。