[发明专利]场景中真实物体与虚拟物体的几何一致性虚实融合方法

说明书

场景中真实物体与虚拟物体的几何一致性虚实融合方法，属于计算机增强现实领域，解决了场景中真实物体与虚拟物体的遮挡问题，同时还解决了场景中真实物体与虚拟物体的大小方向匹配问题。本发明先使用Kinect相机环拍真实场景，利用KinectFusion算法对场景进行三维重建；在重建场景中选取人体手臂部分模型进行处理，通过三维坐标到二维坐标变换的方法将人体手臂上手腕位置和宽度计算出来，并且通过坐标系旋转变换将真实物体与虚拟物体的坐标统一，最后通过模型参数的差分渲染，得到虚实融合效果图。本发明能够更加准确的确定手腕位置和宽度，实现优于现有技术的虚实融合效果，提高了场景中真实物体与虚拟物体的虚实融合效果。

技术领域

本发明属于计算机增强现实技术领域，具体涉及一种场景中真实物体与虚拟物体的几何一致性虚实融合方法。

背景技术

增强现实(AR)是将PC生成的虚拟物体与真实场景相结合，为了更加逼真的虚实融合效果，就需要使虚拟物体与真实场景呈现出一致的几何效果。几何一致性主要考虑的问题是场景中真实物体与虚拟物体的遮挡问题，同时还需要几何匹配。

目前，现有解决几何一致性虚实融合的方法主要分为以下两类：一是借助辅助标志物的方法，二是借助辅助设备的方法。其中，借助辅助标志物的方法具体为使用ARToolkit利用辅助标志物跟踪定位注册方法对虚拟物体进行三维注册。借助辅助设备(如深度相机等)来搭建交互场景，能够提供三维深度图像和人体骨骼点等信息，通过三维深度图像的分割生成网格来解决遮挡等问题，为几何估计提供了新的解决方案。

上述两种解决几何一致性虚实融合的方法考虑的仅仅是从三维层面来计算真实物体与虚拟物体的遮挡问题，却没有考虑到真实物体与虚拟物体的大小方向需要匹配的问题。

发明内容

本发明的目的是提供一种场景中真实物体与虚拟物体的几何一致性虚实融合方法，解决了场景中真实物体与虚拟物体的遮挡问题，同时还解决了场景中真实物体与虚拟物体的大小方向匹配问题。

本发明为解决技术问题所采用的技术方案如下：

本发明的场景中真实物体与虚拟物体的几何一致性虚实融合方法，包括以下步骤：

步骤一、拍摄含有人体手臂的真实场景图像，建立人体手臂的三维模型；

步骤二、计算手腕的位置与宽度；

步骤三、建立坐标系，利用欧拉角旋转矩阵使坐标系统一，进行差分渲染，实现虚实融合。

进一步的，步骤一的具体操作步骤如下：

(1)使用Kinect相机拍摄包括人体手臂在内的真实场景图像，得到不同视角的深度图像和彩色图像；采用KinectFusion算法对不同视角的深度图像进行三维重建，得到整体三维场景模型；

(2)将整体三维场景模型用obj格式导入到Meshlab软件中，利用Meshlab软件对其进行分割，得到人体手臂的三维模型图，并建立坐标系。

进一步的，步骤二的具体操作步骤如下：

(1)将人体手臂的三维模型图转换为三维点云形式，导出人体手臂模型的三维点云坐标并将其用TXT文本格式导入到MATLAB软件中，根据人体手臂模型的三维点云坐标将垂直于视觉平面的x坐标去掉，保留y和z两个二维坐标；

(2)人体手臂与yoz平面平行，y和z坐标均为非整数，对y和z坐标进行尺度调整，构建人体手臂在yoz平面上的投影图像，通过投影图像分析人体手臂的形态；

(3)计算人体手臂上宽度最小的位置，即为手腕。

更进一步的，步骤二(3)的具体操作步骤如下：

①计算出人体手臂在yoz平面上的投影图像协方差的特征值，最大特征值对应的特征向量即为人体手臂的主方向；