[发明专利]一种三维视频重定位方法

权利要求书

1.一种三维视频重定位方法，其特征在于包括以下步骤：

①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{I_t(x,y)}，将深度视频序列中t时刻的深度图像记为{D_t(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，I_t(x,y)表示{I_t(x,y)}中坐标位置为(x,y)的像素点的像素值，D_t(x,y)表示{D_t(x,y)}中坐标位置为(x,y)的像素点的像素值；

②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{I_x(y,t)}，将{I_x(y,t)}中坐标位置为(y,t)的像素点的像素值记为I_x(y,t)，I_x(y,t)＝I_t(x,y)；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{I_y(x,t)}，将{I_y(x,t)}中坐标位置为(x,t)的像素点的像素值记为I_y(x,t)，I_y(x,t)＝I_t(x,y)；

③通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{I_x(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{I_y(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{I_t(x,y)}的运动显著图记为{M_t(x,y)}，其中，M_t(x,y)表示{M_t(x,y)}中坐标位置为(x,y)的像素点的像素值；

④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{I_t(x,y)}；并将深度视频序列中与{I_t(x,y)}对应的深度图像定义为当前深度图像，记为{D_t(x,y)}，其中，此处t的初始值为2，2≤t≤T；

⑤提取{I_t(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{I_t(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{I_t(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值；

⑥计算{I_t(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{I_t(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为Etintra(x,y,x*)=Ethor(x,y)+Etver(x,y,x*),]]>Ethor(x,y)=|It(x-1,y)-It(x+1,y)|,]]>其中，x^*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x^*∈{x-1,x,x+1}，如果x-1≥1，则I_t(x-1,y)表示{I_t(x,y)}中坐标位置为(x-1,y)的像素点的像素值，如果x-1<1，则令I_t(x-1,y)＝I_t(1,y)；如果x+1≤W，则I_t(x+1,y)表示{I_t(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令I_t(x+1,y)＝I_t(W,y)；当k＝x-1时如果k≥1且y-1≥1，则I_t(k,y-1)表示{I_t(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x-1时如果k≥1且y-1<1，则令I_t(k,y-1)＝I_t(k,1)，当k＝x-1时如果k<1且y-1≥1，则令I_t(k,y-1)＝I_t(1,y-1)，当k＝x-1时如果k<1且y-1<1，则令I_t(k,y-1)＝I_t(1,1)；当k＝x时如果y-1≥1，则I_t(k,y-1)表示{I_t(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x时如果y-1<1，则令I_t(k,y-1)＝I_t(k,1)；当k＝x+1时如果k≤W且y-1≥1，则I_t(k,y-1)表示{I_t(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x+1时如果k≤W且y-1<1，则令I_t(k,y-1)＝I_t(k,1)，当k＝x+1时如果k>W且y-1≥1，则令I_t(k,y-1)＝I_t(W,y-1)，当k＝x+1时如果k>W且y-1<1，则令I_t(k,y-1)＝I_t(W,1)；当k＝x-1时I_t(k+1,y)表示{I_t(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则I_t(k+1,y)表示{I_t(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令I_t(k+1,y)＝I_t(W,y)；I_t(1,y)、I_t(W,y)、I_t(k,1)、I_t(1,y-1)、I_t(1,1)、I_t(W,y-1)、I_t(W,1)对应表示{I_t(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素点的像素值，符号“||”为取绝对值符号；

⑦计算{I_t(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{I_t(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为Etinter(x,y)=1(2×B+1)2Σi=-BBΣj=-BBE(x+i,y+j),]]>其中，2×B+1表示{I_t(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，S_t-1,i'(y)表示彩色视频序列中t-1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“||”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令I_t(x+i,y+j)＝I_t(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令I_t(x+i,y+j)＝I_t(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令I_t(x+i,y+j)＝I_t(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令I_t(x+i,y+j)＝I_t(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则I_t(x+i,y+j)表示{I_t(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令I_t(x+i,y+j)＝I_t(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令I_t(x+i,y+j)＝I_t(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令I_t(x+i,y+j)＝I_t(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令I_t(x+i,y+j)＝I_t(W,H)；如果S_t-1,i'(y)+i<1且y+j<1，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(1,1)；如果S_t-1,i'(y)+i<1且1≤y+j≤H，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(1,y+j)；如果S_t-1,i'(y)+i<1且y+j>H，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(1,H)；如果1≤S_t-1,i'(y)+i≤W且y+j<1，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(S_t-1,i'(y)+i,1)；如果1≤S_t-1,i'(y)+i≤W且1≤y+j≤H，则I_t-1(S_t-1,i'(y)+i,y+j)表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(S_t-1,i'(y)+i,y+j)的像素点的像素值；如果1≤S_t-1,i'(y)+i≤W且y+j>H，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(S_t-1,i'(y)+i,H)；如果S_t-1,i'(y)+i>W且y+j<1，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(W,1)；如果S_t-1,i'(y)+i>W且1≤y+j≤H，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(W,y+j)；如果S_t-1,i'(y)+i>W且y+j>H，则令I_t-1(S_t-1,i'(y)+i,y+j)＝I_t-1(W,H)；上述I_t(1,1)、I_t(1,y+j)、I_t(1,W)、I_t(x+i,1)、I_t(x+i,H)、I_t(W,1)，I_t(W,y+j)、I_t(W,H)对应表示{I_t(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述I_t-1(1,1)、I_t-1(1,y+j)、I_t-1(1,W)、I_t-1(x+i,1)、I_t-1(x+i,H)、I_t-1(W,1)、I_t-1(W,y+j)、I_t-1(W,H)对应表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值；

⑧根据和计算{I_t(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为Ettotal(x,y,x*)=α2×EtVA(x,y)+β2×Etintra(x,y,x*)+γ2×Etinter(x,y),]]>其中，α₂、β₂和γ₂为加权参数；

⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{I_t(x,y)}和{D_t(x,y)}的垂直缝隙的条数记为N_s，N_s＝W-W'，其中，W'<W；

⑩根据通过动态规划方法找出{I_t(x,y)}的N_s条垂直缝隙，将{I_t(x,y)}的第i'条垂直缝隙记为{S_t,i'(y)|1≤y≤H}，其中，1≤i'≤N_s，S_t,i'(y)表示{S_t,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置；

将{I_t(x,y)}中所有落在{I_t(x,y)}的N_s条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{D_t(x,y)}中所有落在相同的N_s条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x₁≤W'，表示中坐标位置为(x₁,y)的像素点的像素值，表示中坐标位置为(x₁,y)的像素点的像素值；

令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{I_t(x,y)}；并将深度视频序列中与{I_t(x,y)}对应的深度图像作为当前深度图像，记为{D_t(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。