[发明专利]一种基于视频序列背景建模的虚拟视点绘制方法

权利要求书

1.一种基于视频序列背景建模的虚拟视点绘制方法，其特征在于包括如下 步骤：

(1)对参考视点二维视频建立统计背景模型，得到背景二维图像，对参考 视点深度视频建立统计背景模型，得到背景深度图像；

(2)对参考视点每一帧深度图像做中值滤波处理；

(3)将统计建模得到的背景深度图像投射至视差空间，得到背景图像各像 素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考图 像各像素点的视差值；

(4)根据背景图像各像素点的视差值，平移统计建模得到的背景二维图像 的各个通道的像素，得到目标视点背景图像；

(5)根据参考图像各像素点的视差值，平移参考视点二维图像的各个通道 的像素，得到目标视点初始图像；

(6)融合目标视点初始图像和目标视点背景图像，并用均值滤波器插值填 补空洞，得到最终目标视点图像；

所述的对参考视点二维视频建立统计背景模型，得到背景二维图像，对参 考视点深度视频建立统计背景模型，得到背景深度图像步骤为：

(a)对参考视点的二维视频截取连续N帧图像I_f，f为帧号，取值为 1，2，…，N，对这N帧二维图像中对应每个像素坐标位置(x，y)的N个像素值进行升 序排序，取中间位置的值即这N个像素值的中值作为背景二维图像B(x，y)在对应 位置(x，y)的像素值；

(b)对参考视点的深度视频截取与步骤(a)截取二维视频时时间维度上相 同位置的连续N帧深度图像D_f，f为帧号，取值为1，2，…，N，对这N帧深度图 像中对应每个像素坐标位置(x，y)的N个像素值进行升序排序，取中间位置的值 即这N个像素值的中值作为背景深度图像BD(x，y)在对应位置(x，y)的像素值；

所述的对参考视点每一帧深度图像做中值滤波处理步骤为：

(c)对参考视点深度视频序列的每一帧D_f做7×7的中值滤波，得到滤波之 后的深度图像D_f′(x，y)；

所述的将统计建模得到的背景深度图像投射至视差空间，得到背景图像各 像素点的视差值，将每一帧中值滤波之后的深度图投射至视差空间，得到参考 图像各像素点的视差值步骤为：

(d)根据设定的聚焦层灰度级d_F，相邻视点间最大视差值maxD，以及目 标视点离参考视点的相对距离n，n＝…，-1，0，1，…，计算所有的灰度级d所对应的 视差值Disparity(d)，其中计算公式如下：

Disparity(d)=n·maxD255-dF·(dF-d)0≤dF≤128n·maxDdF·(dF-d)128<dF<255]]>

d是深度图中表征深度的灰度级，d＝0，1，…，255，d越大，表示深度越大，即物 体离观察者越远，d越小，深度越小，物体离观察者越近；

(e)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将统 计建模得到的背景深度图像BD(x，y)映射至视差空间，得到背景图像各像素点的 视差值disp_B(x，y)，表示如下：

disp_B(x，y)＝Disparity(BD(x，y))；

(f)根据步骤(d)计算得到的各灰度级所对应的视差值Disparity(d)，将每 一帧中值滤波后的深度图D_f′(x，y)投射至视差空间，得到参考图像各像素点的视 差值disp_f(x，y)，表示如下：

disp_f(x，y)＝Disparity(D_f′(x，y))；

所述的根据背景图像各像素点的视差值，平移统计建模得到的背景二维图 像的各个通道的像素，得到目标视点背景图像步骤为：

(g)将目标视点背景图像每个像素点的参考像素点个数refNum_B(x，y)初始化 为0，扫描背景二维图像B(x，y)和背景深度图像BD(x，y)，将每个像素坐标(x，y)根 据步骤(e)得到的背景图像视差disp_B(x，y)绘制至目标视点背景图像上的非整数 像素点(x+disp_B(x，y)，y)，并求得水平方向上距离该非整数像素点最近的左右参考 像素点坐标(x_Bleft，y)、(x_Bright，y)，把(x_Bleft，y)的参考像素点个数refNum_B(x_Bleft，y)和 (x_Bright，y)的参考像素点个数refNum_B(x_Bright，y)分别加1，并将这两个参考像素点 (x_Bleft，y)、x_Bright，y)的像素值都赋为背景二 维图像上源像素坐标位置(x，y)的像素值B(x，y)，将这两个参考像素点(x_Bleft，y)、 (x_Bright，y)的深度值都赋为背景深度图像 上源像素坐标位置(x，y)的灰度值BD(x，y)，计算该非整像素点(x+disp_B(x，y)，y)对 (x_Bleft，y)的权重对(x_Bright，y)的权重计算公 式表示如下：

BrefNumB(xi,y)(xi,y)=B(x,y)]]>

BDrefNumB(xi,y)(xi,y)=BD(x,y)]]>i＝Bleft，Bright

表示取小于等于·的最大整数；

(h)由步骤(g)得到目标视点背景图像每个整像素坐标(x，y)的参考像素 点个数refNum_B(x，y)，这些参考像素点各自的像素值Bⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺， 深度BDⁱ(x，y)，i≤refNum_B(x，y)i∈Z⁺，以及权重把深度值 最小像素的像素值的反距离权重加权平均值作为目标视点背景图像B_vir(x，y)在坐 标(x，y)的像素值，计算公式如下：

其中HOLE表示空洞，表示第i个参考点是否属于深度最小的像素点，若是， 否则，定义如下：

(i)根据步骤(h)得到的目标视点背景图像B_vir(x，y)，对目标视点背景 图像每个像素建立一个标志位Flag_B(x，y)，表示如下：

所述的根据参考图像各像素点的视差值，平移参考视点二维图像的各个通 道的像素，得到目标视点初始图像步骤为：

(j)将目标视点初始图像每个像素点的参考像素点个数refNum(x，y)初始化为 0，扫描参考二维图像I_f(x，y)和中值滤波之后的参考深度图像D_f′(x，y)，将每个像 素坐标(x，y)通过步骤(f)得到的参考图像的视差值disp_f(x，y)绘制至目标视点初 始图像上的非整数像素点(x+disp_f(x，y)，y)，并求得水平方向上距离该非整数像素 点最近的左右参考像素点(x_left，y)、(x_right，y)，把(x_left，y)的参考像素点个数 refNum(x_left，y)和(x_right，y)的参考像素点个数refNum(x_right，y)分别加1，并将这两个参 考像素点(x_left，y)、(x_right，y)的像素值都赋为参考 二维图像上源像素坐标位置(x，y)的像素值I_f(x，y)，将这两个像素点的深度值 都赋为参考深度图像上源像素坐标位置(x，y)的 深度值D_f′(x，y)，计算该非整像素点(x+disp_f(x，y)，y)对(x_left，y)的权重 对(x_right，y)的权重表示如下：

IfrefNum(xi,y)(xi,y)=If(x,y)]]>

DfrefNum(xi,y)(xi,y)=Df′(x,y)]]>i＝left，right

表示取小于等于·的最大整数；

(k)由步骤(j)得到目标视点初始图像每个整像素点(x，y)的参考像素点个数 refNum(x，y)，这些参考像素点各自的像素值i∈Z⁺，深度 以及权重把深度值最小的 像素点的反距离权重加权平均值作为目标视点初始图像H_vir(x，y)在坐标(x，y)的 像素值，计算公式如下：

其中HOLE表示空洞，λⁱ表示第i个参考点是否属于深度最小的像素点，若是， λⁱ＝1，否则，λⁱ＝0，定义如下：

(1)根据步骤(k)得到的目标视点图像H_vir(x，y)，对目标视点初始图像每个 像素建立一个标志位Flag_H(x，y)，表示如下：

所述的融合目标视点初始图像和目标视点背景图像，用均值滤波器插值填 补小空洞，得到最终目标视点图像步骤为：

(m)根据步骤(i)得到的目标视点背景图像每个像素的标志位Flag_B(x，y)和 步骤(1)得到的目标视点初始图像每个像素的标志位将步骤(h) 得到的目标视点背景图像B_vir(x，y)和步骤(k)得到的目标视点初始图像H_vir(x，y)进 行融合，得到有小空洞的目标视点图像I′_vir(x，y)，并对I′_vir(x，y)的每个像素建立一 个标志位Flag(x，y)，融合公式定义如下：

其中HOLE表示空洞；

(n)根据步骤(m)得到的带有小空洞的目标视点图像每个像素的标志位 Flag(x，y)，用均值滤波器插值填补步骤(m)得到的带有小空洞的目标视点图像 I′_vir(x，y)，得到最终目标视点图像I_vir(x，y)，填补空洞公式定义如下：

Ivir(x,y)=Σv=-wwIvir′(x-v,y)·Flag(x-v,y)Σv=-wwFlag(x-v,y)]]>

其中w为水平窗的窗口大小，取空洞水平方向上的最大宽度。