[发明专利]一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法

摘要

本发明公开了一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法，本发明属于计算机图形学领域，其步骤包括：单目场景深度重建、精细手势提取、3D模型渲染、遮挡判断及手势再绘制。本发明提出了一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法，结合了单目深度恢复、手势提取、3D模型渲染、遮挡判断及手势再绘制等技术，能有效处理手势与模型的遮挡关系，得到无缝嵌入效果。并且本发明既能有效应对手势交互时产生的遮挡问题，又不依靠昂贵的深度检测设备，符合实际应用需要。

主权项

1.一种手势交互式视频场景中基于单目视觉的3D模型嵌入方法，其特征在于，包括以下步骤：/n步骤1：单目场景深度重建：/n利用深度传感器或双目视觉的方法获取场景深度图，将获得的场景深度图进行配准，转化到摄像机坐标系，作为单目深度恢复模型的训练集；利用上述训练集对单目深度恢复网络进行迁移学习，得到适合于该场景的单目深度恢复模型；利用单目深度恢复模型直接获得当前帧的场景深度图；/n步骤2：精细手势提取：/n2.1)、手势检测与定位：对当前帧进行手势检测与定位得到手势检测框；/n2.2)、粗略手势掩模生成：用混合高斯模型提取前景，然后初始化一张与当前帧相同分辨率的RGBA图像作为手势掩模，将手势掩模中每个像素的RGB值设为当前帧对应元素的RGB值，将位于前景区域和手势检测边框范围内的像素Alpha值设置为1，其他像素的Alpha值设为0，获得粗略手势掩模；/n2.3)、精细手势掩模生成：用种子算法检测粗略手势掩模中手势检测框范围内Alpha值为0的像素连通域，计算每一个连通域的像素个数，如果像素个数小于阈值，则该连通域为噪声，把该连通域的所有像素Alpha值设为1；通过该方法去除小面积噪声，得到精细手势掩模；/n步骤3：3D模型渲染：/n3.1)、采用基于标识物模板的摄像机跟踪方法，对当前视频帧与标识物图像进行特征提取与匹配，求出当前帧对应的摄像机姿态信息，即当前摄像机坐标系到三维世界坐标系的旋转矩阵和平移矩阵；/n3.2)、首先绘制当前帧作为窗口背景，然后根据摄像机内参，和3.1)中获得的旋转矩阵和平移矩阵，将3D模型变换到屏幕空间，并绘制到窗口背景上，同时获取并保存深度图作为模型深度图；/n步骤4：遮挡判断及手势再绘制：/n4.1)、遮挡判断：以手势掩模中Alpha值为1的像素坐标采样模型深度图和场景深度图，分别获得模型深度和手势深度，若手势深度<场景深度，则认为该位置手势对虚拟3D模型产生了遮挡，保持手势掩模中对应像素的Alpha值为1，否则设置Alpha值为0；/n4.2)、手势再绘制：对于手势掩模Alpha值为1的像素，用其RGB值覆盖窗口背景值，对于Alpha值为0的像素，依然保留窗口背景值。/n