[发明专利]一种三维视频重定位方法

摘要

本发明公开了一种三维视频重定位方法，其首先分别提取彩色视频序列中的每帧彩色图像的图像显著图、梯度能量图和运动显著图，并融合场景的深度信息得到彩色视频序列中的每帧彩色图像的视觉注意力图，计算彩色视频序列中的每帧彩色图像的帧内一致性能量图和帧间一致性能量图；并采用动态规划方法找出彩色视频序列中的每帧彩色图像的所有垂直缝隙；再将彩色视频序列中的每帧彩色图像中落于所有垂直缝隙和深度视频序列中的每帧深度图像中落于相同的垂直缝隙内的像素点移除，得到重定位后的彩色视频序列和重定位后的深度视频序列；优点是获得的重定位后的三维视频能减少图像形变、避免时域抖动、突出显著内容，从而保持较高的视觉舒适性。

主权项

一种三维视频重定位方法，其特征在于包括以下步骤：①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{It(x,y)}，将深度视频序列中t时刻的深度图像记为{Dt(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，It(x,y)表示{It(x,y)}中坐标位置为(x,y)的像素点的像素值，Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的像素值；②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y‑T截面图像，将彩色视频序列的第x个Y‑T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X‑T截面图像，将彩色视频序列的第y个X‑T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)；③通过对彩色视频序列的每个Y‑T截面图像进行低秩矩阵分解，获取彩色视频序列的每个Y‑T截面图像的最优垂直方向运动矩阵，将{Ix(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X‑T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X‑T截面图像的最优水平方向运动矩阵，将{Iy(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y‑T截面图像的最优垂直方向运动矩阵和每个X‑T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{It(x,y)}的运动显著图记为{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐标位置为(x,y)的像素点的像素值；④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像定义为当前深度图像，记为{Dt(x,y)}，其中，此处t的初始值为2，2≤t≤T；⑤提取{It(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{It(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{It(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，α1、β1和γ1为加权参数，St(x,y)表示{It(x,y)}的图像显著图{St(x,y)}中坐标位置为(x,y)的像素点的像素值，Gt(x,y)表示{It(x,y)}的梯度能量图{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值；⑥计算{It(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为其中，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x‑1,x,x+1}，如果x‑1≥1，则It(x‑1,y)表示{It(x,y)}中坐标位置为(x‑1,y)的像素点的像素值，如果x‑1<1，则令It(x‑1,y)＝It(1,y)；如果x+1≤W，则It(x+1,y)表示{It(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令It(x+1,y)＝It(W,y)；当k＝x‑1时如果k≥1且y‑1≥1，则It(k,y‑1)表示{It(x,y)}中坐标位置为(k,y‑1)的像素点的像素值，当k＝x‑1时如果k≥1且y‑1<1，则令It(k,y‑1)＝It(k,1)，当k＝x‑1时如果k<1且y‑1≥1，则令It(k,y‑1)＝It(1,y‑1)，当k＝x‑1时如果k<1且y‑1<1，则令It(k,y‑1)＝It(1,1)；当k＝x时如果y‑1≥1，则It(k,y‑1)表示{It(x,y)}中坐标位置为(k,y‑1)的像素点的像素值，当k＝x时如果y‑1<1，则令It(k,y‑1)＝It(k,1)；当k＝x+1时如果k≤W且y‑1≥1，则It(k,y‑1)表示{It(x,y)}中坐标位置为(k,y‑1)的像素点的像素值，当k＝x+1时如果k≤W且y‑1<1，则令It(k,y‑1)＝It(k,1)，当k＝x+1时如果k>W且y‑1≥1，则令It(k,y‑1)＝It(W,y‑1)，当k＝x+1时如果k>W且y‑1<1，则令It(k,y‑1)＝It(W,1)；当k＝x‑1时It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令It(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y‑1)、It(1,1)、It(W,y‑1)、It(W,1)对应表示{It(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y‑1)、(1,1)、(W,y‑1)、(W,1)的像素点的像素值，符号“||”为取绝对值符号；⑦计算{It(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为其中，2×B+1表示{It(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，St‑1,i'(y)表示彩色视频序列中t‑1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“||”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令It(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令It(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令It(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令It(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则It(x+i,y+j)表示{It(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令It(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令It(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令It(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令It(x+i,y+j)＝It(W,H)；如果St‑1,i'(y)+i<1且y+j<1，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(1,1)；如果St‑1,i'(y)+i<1且1≤y+j≤H，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(1,y+j)；如果St‑1,i'(y)+i<1且y+j>H，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(1,H)；如果1≤St‑1,i'(y)+i≤W且y+j<1，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(St‑1,i'(y)+i,1)；如果1≤St‑1,i'(y)+i≤W且1≤y+j≤H，则It‑1(St‑1,i'(y)+i,y+j)表示彩色视频序列中t‑1时刻的彩色图像中坐标位置为(St‑1,i'(y)+i,y+j)的像素点的像素值；如果1≤St‑1,i'(y)+i≤W且y+j>H，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(St‑1,i'(y)+i,H)；如果St‑1,i'(y)+i>W且y+j<1，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(W,1)；如果St‑1,i'(y)+i>W且1≤y+j≤H，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(W,y+j)；如果St‑1,i'(y)+i>W且y+j>H，则令It‑1(St‑1,i'(y)+i,y+j)＝It‑1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)对应表示{It(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述It‑1(1,1)、It‑1(1,y+j)、It‑1(1,W)、It‑1(x+i,1)、It‑1(x+i,H)、It‑1(W,1)、It‑1(W,y+j)、It‑1(W,H)对应表示彩色视频序列中t‑1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值；⑧根据和计算{It(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，α2、β2和γ2为加权参数；⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{It(x,y)}和{Dt(x,y)}的垂直缝隙的条数记为Ns，Ns＝W‑W'，其中，W'<W；⑩根据通过动态规划方法找出{It(x,y)}的Ns条垂直缝隙，将{It(x,y)}的第i'条垂直缝隙记为{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置；将{It(x,y)}中所有落在{It(x,y)}的Ns条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{Dt(x,y)}中所有落在相同的Ns条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的像素值，表示中坐标位置为(x1,y)的像素点的像素值；令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像作为当前深度图像，记为{Dt(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。