[发明专利]一种立体视频整帧丢失错误隐藏方法

摘要

本发明公开了一种立体视频整帧丢失错误隐藏方法，其从立体视频序列的编码特点及视频序列时域、视点间视频图像信息区域特征的相似性考虑，假设右视点某一时刻帧丢失，利用左右视点图像静止区域与运动区域以及同一视点相邻时刻图像静止区域与运动区域的相似性，通过左右视点已经正确解码的图像帧估计丢失帧中的静止区域与运动区域，然后利用视点间的全局视差将丢失帧中的运动区域划分为遮挡边界区域和非遮挡边界区域，并对遮挡边界区域和非遮挡边界区域分别采用运动补偿预测和视差补偿预测恢复丢失的信息，而对于静止区域则直接采用帧拷贝的方法恢复丢失的信息，本发明方法对于右视点整帧丢失的情况可以有效提高立体视频图像的主观质量和客观质量。

主权项

1.一种立体视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：①假设立体视频中t时刻的右视点图像帧为丢失帧；②利用正确解码的t-1时刻的左视点图像帧和t时刻的左视点图像帧，估计立体视频中t时刻的左视点图像帧中的静止区域与运动区域；利用正确解码的t-2时刻的右视点图像帧和t-1时刻的右视点图像帧，估计立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域；具体过程为：②-1、将t时刻的左视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第一图像块，1＜M₁＜W，1＜N₁＜H，W表示立体视频中的图像帧的宽度，H表示立体视频中的图像帧的高度；②-2、将t时刻的左视点图像帧中当前正在处理的以坐标位置为(x₁，y₁)的像素点为中心的第一图像块定义为当前第一图像块，其中，0≤x₁≤W-M₁/2，0≤y₁≤H-N₁/2；②-3、在t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₁，Δx₁]为水平方向搜索范围及[-Δy₁，Δy₁]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内偏移坐标位置为(i₁，j₁)的像素点的平均绝对误差记为MAD(i₁，j₁)，MAD(i1,j1)=Σi1=-Δx1Δx1Σj1=-Δy1Δy1Σ(x1,y1)∈D1|Ptl(x1,y1)-Pt-1l(x1+i1,y1+j1)|M1×N1,]]>其中，-Δx₁≤i₁≤Δx₁，-Δy₁≤j₁≤Δy₁，D₁表示t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，表示t时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点的像素值，表示t-1时刻的左视点图像帧中与当前第一图像块中坐标位置为(x₁，y₁)的像素点对应的横坐标偏移i₁且纵坐标偏移j₁后的坐标位置为(x₁+i₁，y₁+j₁)的像素点的像素值；②-4、寻找在水平方向搜索范围[-Δx₁，Δx₁]和垂直方向搜索范围[-Δy₁，Δy₁]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-1时刻的左视点图像帧中坐标位置为(x₁，y₁)的像素点，如果是，则判定当前第一图像块为静止块，否则，判定当前第一图像块为运动块；②-5、将t时刻的左视点图像帧中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-3继续执行，直至t时刻的左视点图像帧中的所有第一图像块处理完毕，得到由t时刻的左视点图像帧中的所有静止块构成的t时刻的左视点图像帧中的静止区域，及由t时刻的左视点图像帧中的所有运动块构成的t时刻的左视点图像帧中的运动区域；②-6、将t-1时刻的右视点图像帧分割成多个互不重叠的尺寸大小为M₁×N₁的图像块，并将分割得到的尺寸大小为M₁×N₁的图像块定义为第二图像块；②-7、将t-1时刻的右视点图像帧中当前正在处理的以坐标位置为(x₂，y₂)的像素点为中心的第二图像块定义为当前第二图像块，其中，0≤x₂≤W-M₁/2，0≤y₂≤H-N₁/2；②-8、在t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为搜索中心，且以[-Δx₂，Δx₂]为水平方向搜索范围及[-Δy₂，Δy₂]为垂直方向搜索范围进行搜索，得到每次搜索对应的像素点的平均绝对误差，将在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内偏移坐标位置为(i₂，j₂)的像素点的平均绝对误差记为MAD(i₂，j₂)，MAD(i2,j2)=Σi2=-Δx2Δx2Σj2=-Δy2Δy2Σ(x2,y2)∈D2|Pt-1r(x2,y2)-Pt-2r(x2+i2,y2+j2)|M1×N1,]]>其中，-Δx₂≤i₂≤Δx₂，-Δy₂≤j₂≤Δy₂，D₂表示t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应坐标位置的像素点为中心且尺寸大小为M₁×N₁的窗口，“||”为取绝对值符号，表示t-1时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点的像素值，表示t-2时刻的右视点图像帧中与当前第二图像块中坐标位置为(x₂，y₂)的像素点对应的横坐标偏移i₂且纵坐标偏移j₂后的坐标位置为(x₂+i₂，y₂+j₂)的像素点的像素值；②-9、寻找在水平方向搜索范围[-Δx₂，Δx₂]和垂直方向搜索范围[-Δy₂，Δy₂]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-2时刻的右视点图像帧中坐标位置为(x₂，y₂)的像素点，如果是，则判定当前第二图像块为静止块，否则，判定当前第二图像块为运动块；②-10、将t-1时刻的右视点图像帧中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤②-8继续执行，直至t-1时刻的右视点图像帧中的所有第二图像块处理完毕，得到由t-1时刻的右视点图像帧中的所有静止块构成的t-1时刻的右视点图像帧中的静止区域，由t-1时刻的右视点图像帧中的所有运动块构成的t-1时刻的右视点图像帧中的运动区域；③根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，具体过程为：③-1、采用移动帧差法计算立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，记为d_G，dG=argminMAD(d)=Σ(x,y)∈D|Pt-1r(x,y)-Pt-1l(x+d,y)|(W-|d|)×H,]]>其中，MAD(d)表示t-1时刻的右视点图像帧在t-1时刻的左视点图像帧上进行水平位移时t-1时刻的左视点图像帧与t-1时刻的右视点图像帧的匹配误差，arg min MAD(d)表示MAD(d)取最小值时的位移d的值，-W/λ₁≤d≤W/λ₁，λ₁表示位移d的判断阈值，D表示t-1时刻的右视点图像帧中以坐标位置为(x，y)的像素点为中心且左起图像左边界右至W-|d|处、高为H的矩形窗口，“||”为取绝对值符号，表示t-1时刻的右视点图像帧中坐标位置为(x，y)的像素点的像素值，表示t-1时刻的左视点图像帧中坐标位置为(x+d，y)的像素点的像素值；③-2、根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量d_G，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，当d_G＞0时将t时刻的左视点图像帧中的运动块向左移动G_DB列，当d_G≤0时将t时刻的左视点图像帧中的运动块向右移动G_DB列，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，其中，“||”为取绝对值符号，表示取不大于的最大整数，B_P表示t时刻的左视点图像帧中的运动块的宽度；④利用立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域及t时刻的左视点图像帧中水平位移后的静止区域与运动区域，估计丢失帧中的静止区域与运动区域，具体过程为：④-1、判断t时刻的左视点图像帧中水平位移后的第一图像块和t-1时刻的右视点图像帧中与水平位移后的第一图像块位置对应的第二图像块是否均为静止块，如果是，则判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的静止块，否则，判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M₁×N₁的图像块为初步确定的运动块；④-2、将丢失帧分割成多个互不重叠的尺寸大小为M×N的第三图像块，判断第三图像块中是否包含有初步确定的运动块，如果是，则判定该第三图像块为最终确定的运动块，否则，判定该第三图像块为最终确定的静止块，其中，1＜M₁＜M＜W，1＜N₁＜N＜H；④-3、由丢失帧中的所有最终确定的静止块构成丢失帧中的静止区域，由丢失帧中的所有最终确定的运动块构成丢失帧中的运动区域；⑤根据丢失帧中的各个宏块实际所在的区域，采用自适应的方法恢复丢失帧中的各个宏块的亮度信息和色度信息，具体过程为：⑤-1、定义丢失帧中当前正在处理的宏块为当前宏块；⑤-2、判断当前宏块位于静止区域还是位于运动区域，如果位于静止区域，则直接采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，如果位于运动区域，则再判断当前宏块位于非遮挡边界区域还是遮挡边界区域，如果位于非遮挡边界区域，则采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息，如果位于遮挡边界区域，则采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息，其中，遮挡边界区域包括左遮挡边界区域和右遮挡边界区域，左遮挡边界区域和右遮挡边界区域的宽度为C个宏块的宽度，其中，M_P表示丢失帧中的宏块的宽度；⑤-3、将丢失帧中下一个待处理的宏块作为当前宏块，然后返回步骤⑤-2继续执行，直至丢失帧中的所有宏块的亮度信息和色度信息恢复完毕。