[发明专利]一种基于视频序列背景建模的虚拟视点绘制方法

说明书

技术领域

本发明涉及立体显示所需的虚拟视点绘制方法，尤其涉及一种基于视频序 列背景建模的虚拟视点绘制方法。

背景技术

从20世纪40年代电视发明以来，经历了从黑白电视到彩色电视的第一次 革命和从模拟电视到数字电视的第二次革命，3DTV将是继数字电视后电视技 术的第三次革命。3DTV主要特点是立体感，即给用户以3维画面的视觉感受， 另一个特点就是交互性，用户可以选择视点。

3D显示意味着需要有两路(stereoscopic)甚至多路视频(multi-view)信息， 这对于带宽提出的要求是不可能满足的。荷兰飞利浦开发了二维+深度信息格 式，在显示端通过算法重构出其他视点的信息。采用“二维+深度”方式，所需带 宽小(只比普通二维节目增加5～10％的带宽)，适应于广电系统和网络领域。 如何有效地利用深度图产生用于立体显示的虚拟视点图像是当前3DTV的关键 一步。

目前的虚拟视点生成方法多基于传统的DIBR(depth-image based rendering) 算法，利用相机参数通过反投影和投影完成绘制过程，算法耗时，而且当相机 排列呈会聚模型且目标视点离虚拟视点距离加大时，产生的虚拟视点图像存在 形变问题。另外，由于DIBR算法从采集端建模，需要准确知道采集时的相机模 型参数，对于一般的显示端不通用。

由于前景物体和背景物体之间存在遮挡关系，单纯地将参考视图绘制至虚 拟视点会产生空洞，传统方法或利用平滑深度图，或需要有复杂的空洞填补算 法来得到可接受的图像质量。深度图平滑会导致图像扭曲，复杂的空洞填补算 法又相当耗时。传统的视频压缩方法表明，视频序列在时间方向上有着非常大 的相关性，序列的某些帧中被遮挡的背景一般会在其他帧中出现，利用算法把 序列背景提取出来，是一种空洞填补的有效方法。利用视频序列时间上的相关 性产生虚拟视点图像将有效提高绘制速度和质量。

发明内容

本发明目的是克服现有技术的不足，结合视频序列时间上的相关性，提供 一种基于视频序列背景建模的虚拟视点绘制方法。

基于视频序列背景建模的虚拟视点绘制方法包括如下步骤：

(1)对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考视 点深度视频建立统计背景模型，得到背景深度图像；

(2)对参考视点每一帧深度图像做中值滤波处理；

(3)将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像素 点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图像 各像素点的视差值；

(4)根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像的 各个通道的像素，得到目标视点背景图像；

(5)根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道的 像素，得到目标视点初始图像；

(6)融合目标视点初始图像和目标视点背景图像，并用均值滤波器插值填补 空洞，得到最终目标视点图像。

所述的对参考视点二维视频建立统计背景模型，得到背景二维图像，对参 考视点深度视频建立统计背景模型，得到背景深度图像步骤为：

(a)对参考视点的二维视频截取连续N帧图像I_f，f为帧号，取值为 1，2，…，N，对这N帧二维图像中对应每个像素坐标位置(x，y)的N个像素值进行升 序排序，取中间位置的值即这N个像素值的中值作为背景二维图像B(x，y)在对应 位置(x，y)的像素值；

(b)对参考视点的深度视频截取与步骤(a)截取二维视频时时间维度上 相同位置的连续N帧深度图像D_f，f为帧号，取值为1，2，…，N，对这N帧深度图 像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值 即这N个像素值的中值作为背景深度图像BD(x，y)在对应位置(x，y)的像素值。

所述的对参考视点每一帧深度图像做中值滤波处理步骤为：

(c)对参考视点深度视频序列的每一帧D_f做7×7的中值滤波，得到滤波之 后的深度图像D_f′(x，y)。

所述的将统计建模得到的背景深度图像投射至视差空间，得到背景图像各 像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考 图像各像素点的视差值步骤为：