[发明专利]面向平面显示设备的视频立体化绘制方法

摘要

本发明公开一种面向平面显示设备的视频立体化绘制方法，其步骤包括提取彩色帧和深度帧获取实时输入的彩色帧Ic和深度帧Id序列；深度帧拉伸对深度帧进行线性变换、双边滤波后得到图像Id’；分割精细的前景掩码；计算参照线位置在场景的左半边和右半边分别确定参照线lleft和lright；应用摄像机几何原理逐层将彩色帧Ic和图像Id’重新绘制到成像平面上的新彩色帧Rc和新深度帧Rd；构造场景三角网格修复新彩色帧Rc和新深度帧Rd中出现的像素缺失；对远景进行适当的模糊；在Rcb中插入参考线得到结果图像Rcbp。采用本发明的方法后，不需任何辅助硬件设备，通过对视频帧进行图像处理，即可在平面显示设备上较好地突出运动前景、增强视频的动态立体呈现效果。

主权项

一种面向平面显示设备的视频立体化绘制方法，其特征在于，包括如下步骤：步骤一、提取彩色帧和深度帧：使用Kinect深度相机获取实时输入的彩色帧Ic和深度帧Id序列；步骤二、深度帧拉伸：对深度帧进行线性变换、双边滤波后得到图像Id’；步骤三、分割精细的前景掩码：对相邻的彩色帧Ic应用帧差法对背景进行减除得到粗略前景Fr，再对粗略前景Fr运用图像形态学腐蚀，剔除细小的明亮区域，删除较小的分支只保留面积最大的分支，分割出粗略的运动前景掩码，对于每一帧，寻找该帧粗略前景Fr中深度最小的点，并进行广度优先搜索，寻找其在三维场景中连续的点，得到精细的前景掩码Fp；步骤四、计算参照线位置：在场景的左半边和右半边分别确定参照线lleft和lright；步骤五、应用摄像机几何原理逐层将彩色帧Ic和图像Id’重新绘制到成像平面上的新彩色帧Rc和新深度帧Rd：对于彩色帧Ic和图像Id’中的点，按深度由大到小均分为多层，逐层对彩色帧Ic和图像Id’中的点进行摄像机几何摄影并修复其中的裂纹，最后将修复后的图层绘制到新彩色帧Rc和新深度帧Rd上；步骤六、构造场景三角网格修复新彩色帧Rc和新深度帧Rd中出现的像素缺失：将彩色帧Ic和新深度帧Id’中相邻的三个场景点连成一个个三角形网格，使整个场景被拟合成一个多面体，m点是摄像机成像平面π上的像素缺失点，连接过投影中心p和m点的直线l，如果l与某个三角形网格相交于点Xc，则m点是点Xc投影在摄像机成像平面π的点，对Xc处的颜色值进行修复；步骤七、对远景进行适当的模糊：记参照线lleft和lright的平均深度为dw，对新彩色帧Rc中深度大于dw的点进行模糊获得结果图像Rcb，深度越大赋予越大的模糊窗口；步骤八、在结果图像Rcb中插入参考线得到结果图像Rcbp：将步骤四中计算出的两条参照线的位置记为Loc，对Loc施加摄像机几何透视变换，得到新的参照线位置Loc’并插入结果图像Rcb中获得的结果图像Rcbp，即完成整个绘制过程。