[发明专利]一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法

权利要求书

1.一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法，其特征在于，包括以下步骤：

步骤1：单目场景深度重建：

利用深度传感器或双目视觉的方法获取场景深度图，将获得的场景深度图进行配准，转化到摄像机坐标系，作为单目深度恢复模型的训练集；利用上述训练集对单目深度恢复网络进行迁移学习，得到适合于该场景的单目深度恢复模型；利用单目深度恢复模型直接获得当前帧的场景深度图；

其中，场景深度图获取是从单个摄像机拍摄的图像直接恢复场景深度；

步骤2：精细手势提取：

2.1)、手势检测与定位：对当前帧进行手势检测与定位得到手势检测框；

2.2)、粗略手势掩模生成：用混合高斯模型提取前景，然后初始化一张与当前帧相同分辨率的RGBA图像作为手势掩模，将手势掩模中每个像素的RGB值设为当前帧对应元素的RGB值，将位于前景区域和手势检测边框范围内的像素Alpha值设置为1，其他像素的Alpha值设为0，获得粗略手势掩模；

2.3)、精细手势掩模生成：用种子算法检测粗略手势掩模中手势检测框范围内Alpha值为0的像素连通域，计算每一个连通域的像素个数，如果像素个数小于阈值，则该连通域为噪声，把该连通域的所有像素Alpha值设为1；通过该方法去除小面积噪声，得到精细手势掩模；

步骤3：3D模型渲染：

3.1)、采用基于标识物模板的摄像机跟踪方法，对当前视频帧与标识物图像进行特征提取与匹配，求出当前帧对应的摄像机姿态信息，即当前摄像机坐标系到三维世界坐标系的旋转矩阵和平移矩阵；

3.2)、首先绘制当前帧作为窗口背景，然后根据摄像机内参，和3.1)中获得的旋转矩阵和平移矩阵，将3D模型变换到屏幕空间，并绘制到窗口背景上，同时获取并保存深度图作为模型深度图；

其中，所述模型深度图通过读取三维渲染引擎的深度缓冲区获得的；

所述3D模型嵌入场景包括两次视频绘制过程和一次3D模型渲染过程，其绘制顺序是：首先绘制视频作为背景，然后渲染3D模型到背景，最后在手势遮挡3D模型的部分重新绘制该部分视频；

步骤4：遮挡判断及手势再绘制：

4.1)、遮挡判断：以手势掩模中Alpha值为1的像素坐标采样模型深度图和场景深度图，分别获得模型深度和手势深度，若手势深度场景深度，则认为该位置手势对虚拟3D模型产生了遮挡，保持手势掩模中对应像素的Alpha值为1，否则设置Alpha值为0；

4.2)、手势再绘制：对于手势掩模Alpha值为1的像素，用其RGB值覆盖窗口背景值，对于Alpha值为0的像素，依然保留窗口背景值；

其中，在使用的手势掩模中，所有Alpha值为1的像素组成了因手势遮挡3D模型需要重新绘制的部分。