[发明专利]场景中真实物体与虚拟物体的几何一致性虚实融合方法

权利要求书

1.场景中真实物体与虚拟物体的几何一致性虚实融合方法，其特征在于，包括以下步骤：

步骤一、拍摄含有人体手臂的真实场景图像，建立人体手臂的三维模型；

步骤二、计算手腕的位置与宽度；

(1)将人体手臂的三维模型图转换为三维点云形式，导出人体手臂模型的三维点云坐标并将其用TXT文本格式导入到MATLAB软件中，根据人体手臂模型的三维点云坐标将垂直于视觉平面的x坐标去掉，保留y和z两个二维坐标；

(2)人体手臂与yoz平面平行，y和z坐标均为非整数，对y和z坐标进行尺度调整，构建人体手臂在yoz平面上的投影图像，通过投影图像分析人体手臂的形态；

(3)计算人体手臂上宽度最小的位置，即为手腕；

①计算出人体手臂在yoz平面上的投影图像协方差的特征值，最大特征值对应的特征向量即为人体手臂的主方向；

②将人体手臂在yoz平面上的投影图像每一竖列中点不全的竖列去掉，并将其余的竖列提取出来重新形成新的人体手臂二维图像；

③在新的人体手臂二维图像中找出所有上下边缘点的坐标，通过计算上边缘点与对应的下边缘点的差值来计算出每一竖列的长度，所有竖列中长度最短的竖列即为手腕位置；

每一竖列长度的计算方法如下：

基于人体手臂二维图像中上下边缘点的离散性，需要将每一个下边缘点与对应的上边缘点以及与该对应的上边缘点左右相邻的两个上边缘点分别计算出差值，取其中的最大差值即为该竖列的长度，比较计算出的所有竖列长度，取其中最短的竖列长度即为手腕宽度；

步骤三、建立坐标系，利用欧拉角旋转矩阵使坐标系统一，进行差分渲染，实现虚实融合；

(1)以手腕所在竖列的中心点为坐标系原点，将手腕所在竖列的中心点与离手腕中心点最近的两个点构成一个三角面片，分别求出手腕中心点与这两个离手腕中心点最近的点的三维矢量m和n，求出与三维矢量m和n垂直的叉积矢量o，求出三维矢量m和叉积矢量o的叉积矢量p，再求出三维矢量o和叉积矢量p的叉积矢量q，将这三个叉积矢量o、p、q单位化后作为z轴、x轴、y轴来建立第一个坐标系；

(2)以腕表表盘的中心点为坐标系原点，将腕表表盘中心点与离腕表表盘中心点最近的两个点构成一个三角面片，分别求出腕表表盘中心点与这两个离腕表表盘中心点最近的点的三维矢量u和v，求出与三维矢量u和v垂直的叉积矢量t，求出三维矢量u和叉积矢量t的叉积矢量w，再求出三维矢量t和叉积矢量w的叉积矢量s，将这三个叉积矢量t、w、s单位化后作为z轴、x轴、y轴来建立第二个坐标系；

(3)将上述建立的两个坐标系中的x轴、y轴、z轴的单位矢量分别放到两个矩阵中，利用欧拉角旋转矩阵对第二个坐标系进行旋转使其与第一个坐标系统一，先使x轴旋转γ角，再绕y轴旋转β角，最后绕z轴旋转α角，旋转矩阵公式为：

式中，R为旋转矩阵，γ、β、α分别为x轴、y轴、z轴的旋转角度；

(4)比较手腕宽度与腕表直径，得到腕表整体尺寸的缩放值，根据手腕位置和旋转角度进行差分渲染，完成场景中真实物体与虚拟物体的几何一致性虚实融合。

2.根据权利要求1所述的场景中真实物体与虚拟物体的几何一致性虚实融合方法，其特征在于，步骤一的具体操作步骤如下：

(1)使用Kinect相机拍摄包括人体手臂在内的真实场景图像，得到不同视角的深度图像和彩色图像；采用KinectFusion算法对不同视角的深度图像进行三维重建，得到整体三维场景模型；

(2)将整体三维场景模型用obj格式导入到Meshlab软件中，利用Meshlab软件对其进行分割，得到人体手臂的三维模型图，并建立坐标系。