[发明专利]基于图像分割的立体视频右图像整帧丢失的错误隐藏方法

摘要

本发明提供一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，属于视频图像处理领域，包括将丢失帧以宏块为单位划分为背景区域和运动区域、运动矢量反向投影调整区域的划分、找到右视点t-1时刻帧中的像素在左视点t-1时刻帧中的对应像素、分模式自适应隐藏前景区域的宏块和填补空洞。本发明提供一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，以较低的计算复杂度准确地分割图像的前景背景，以不同方法隐藏图像的背景、运动复杂区域和运动规则区域，具有广泛的适用性；保持了重建图像物体的完整性，并尽可能减少不规则运动对图像质量的影响，且物体的边缘和纹理处也有较好的隐藏效果。

主权项

一种基于图像分割的立体视频右图像整帧丢失的错误隐藏方法，其特征在于：包括以下几个步骤：步骤一：将丢失帧以宏块为单位划分为背景区域和运动区域：如果立体视频右视点t时刻帧Fr，t丢失，已正确解码的相邻时刻的右视点t‑1时刻帧Fr，t‑1、左视点t‑1时刻帧F1，t‑1和左视点t时刻帧F1，t将被用于恢复右视点t时刻帧Fr，t，根据立体视频的时间和空间相关性，利用右视点t时刻帧丢失帧的先前帧t‑1时刻帧Fr，t‑1进行区域划分，将丢失帧划分为背景区域和前景区域，具体为：(1)左视点t‑1时刻帧Fl，t‑1和右视点t‑2时刻帧Fr，t‑2分别与右视点t‑1时刻帧Fr，t‑1的每个4×4子块的对应像素点做差值，分别取绝对误差和SAD，右视点t‑1时刻帧Fr，t‑1的每个4×4子块均得到两个绝对误差和SAD值，分别为SADv和SADt： SAD v = Σ m = 0 3 Σ n = 0 3 | F l , t - 1 ( x 0 + m , y 0 + n ) - F r , t - 1 ( x 0 + m , y 0 + n ) | SAD t = Σ m = 0 3 Σ n = 0 3 | F r , t - 2 ( x 0 + m , y 0 + n ) - F r , t - 1 ( x 0 + m , y 0 + n ) | 其中，SADv表示不同视点同一时刻的两帧SAD值，SADt表示同一视点不同时刻的两帧SAD值，Fr，t‑1(x，y)表示右视点t‑1时刻帧Fr，t‑1坐标为(x，y)像素点的灰度值，Fl，t‑1(x，y)表示左视点t‑1时刻帧Fl，t‑1坐标为(x，y)像素点的灰度值，Fr，t‑2(x，y)表示右视点t‑2时刻的帧Fr，t‑2坐标为(x，y)像素点的灰度值，(x0，y0)为4×4子块第一行左边第一个像素的坐标，m取0～3的整数，n取0～3的整数，用m、n遍历4×4子块内的每一个像素，(x0+m，y0+n)表示4×4子块每一个像素的坐标；(2)每个宏块中的16个4×4子块，比较每个子块对应的同一视点不同时刻的两帧SAD值SADv和同一视点不同时刻的两帧SAD值SADt大小，若宏块中有一个子块的SADv≤SADt，则该宏块属于前景区域；否则，该宏块属于背景区域；(3)重复步骤(1)、(2)，直至计算完最后一个宏块，将一帧图像的整个区域被划分为前景区域和背景区域；步骤二：运动矢量反向投影调整区域的划分：调整步骤一中丢失帧的区域划分，根据时域的相关性，先得到步骤一中划分后属于前景区域边缘的每个宏块的运动矢量，如果宏块采用视差补偿预测或帧内预测方法，其运动矢量通过用周围相邻宏块的运动矢量预测或对该宏块做运动估计来得到，将t‑1时刻帧Fr，t‑1某一前景区域边缘的宏块的运动矢量反向投影到右视点t时刻帧Fr，t，t时刻帧Fr，t的背景区域的宏块中有被该投影的前景区域的宏块覆盖的，将这些宏块标记为属于前景区域的宏块；采用相同的方法完成前景区域边缘的每一个宏块的运动矢量的反向投影；丢失帧已划分为背景区域和前景区域，其中背景区域利用前一时刻帧图像信息进行替代补偿，前景区域利用视点间或视点内的相关性来恢复，在步骤三到步骤六说明；步骤三：找到右视点t‑1时刻帧Fr，t‑1中的像素在左视点t‑1时刻帧Fl，t‑1中的对应像素：从右视点t‑1时刻帧Fr，t‑1到左视点t‑1时刻帧Fl，t‑1的视差估计采用全搜索的方法获得，右视点t‑1时刻帧Fr，t‑1中像素的视差矢量为DVt‑1，以最小化SAD为匹配准则进行视差估计： SAD ( DV x , DV y ) = Σ ( x , y ) ∈ B | F r , t - 1 ( x , y ) - F l , t - 1 ( x + DV x , y + DV y ) | DVx表示DVt‑1的水平分量；DVy表示DVt‑1的垂直分量，B表示3×3像素块，(x，y)表示区域B中像素的坐标，视差估计之后用3×3中值滤波器滤除不规则的视差矢量，当且仅当3×3窗口的中心为9个像素里视差矢量最大或最小值时异常值被滤除，采用3×3窗口的中心像素的视差矢量被替换为这9个像素视差矢量的中值，否则保留该像素原视差矢量不变；右视点t‑1时刻帧Fr，t‑1中的非遮挡像素通过视差矢量找到在左视点t‑1时刻帧Fl，t‑1中的对应像素；步骤四：分模式自适应隐藏前景区域的宏块：经步骤三完成的前景区域的非遮挡像素做视差估计找到在左视点的对应像素后，再进行分模式自适应隐藏，前景区域利用视差信息和时间域的运动信息进行修复；若一个宏块内的每个像素的视差矢量分布在均值视差矢量DV附近的4个像素宽度的区间里，则该宏块用视差矢量的均值视差矢量DV以4×4子块为单元恢复：Fr，t(x，y)＝Fl，t(x+DVx，y+DVy)Fl，t(x，y)表示左视点t时刻帧Fl，t坐标为(x，y)像素点的灰度值，否则的话，该宏块可能位于前景物体的边缘或者其运动复杂不适合以4×4子块为单元恢复，将左视点t时刻帧Fl，t的运动矢量投影到右视点t时刻帧Fr，t来重建丢失帧Fr，t的每个像素；当前时刻左右视点对应的同一运动像素相对前一时刻的运动矢量近似相等：MVr，t(x，y)＝MV1，t(x+DVx，y+DVy)其中，MVr，t(x，y)表示右视点t时刻帧Fr，t中坐标为(x，y)的像素点的运动矢量，右视点t时刻帧Fr，t中坐标为(x，y)的像素点在左视点Fl，t中对应像素的坐标为(x+DVx，y+DVy)，MVl，t(x+DVx，y+DVy)表示左视点帧Fl，t中坐标为(x+DVx，y+DVy)的像素点的运动矢量；如果左视点的对应像素属于帧内预测宏块，MV1，t用周围相邻宏块的运动矢量预测或对该宏块做运动估计来得到；运动估计时，周围宏块的运动矢量作为搜索的起始点，搜索采用最小SAD匹配准则，B表示3×3像素块： SAD ( MV x , MV y ) = Σ ( x , y ) ∈ B | F l , t ( x , y ) - F l , t - 1 ( x + MV x , y + MV y ) | 然后前景区域的像素按下述公式隐藏，得到前景区域的像素：Fr，t(x，y)＝Fr，t‑1(x+MVx，y+MVy)步骤五：填补空洞：上述方法用视差矢量和运动矢量隐藏丢失帧后，由于遮挡会有未隐藏的空洞区域；当空洞区域大于2×2像素时，中值滤波器不能填补，以零矢量从时域上前一时刻帧拷贝；步骤六：时域亮度分量的变化补偿：左视点t‑1时刻帧Fl，t‑1和左视点t时刻帧Fl，t两帧的时域帧差用下述公式来表示：ΔFl，t‑1→t(x，y)＝Fl，t(x，y)‑Fl，t‑1(x，y)其中ΔFl，t‑1→t(x，y)表示左视点t时刻帧Fl，t和左视点t‑1时刻帧Fl，t‑1每个像素灰度的差值；Fl，t(x，y)表示左视点t‑1时刻Fl，t坐标为(x，y)像素的灰度值；丢失的右视点帧的时域帧差：ΔFr，t‑1→t(x，y)＝ΔFl，t‑1→t(x+DVx，y+DVy)ΔFr，t‑1→t(x，y)表示右视点t时刻帧Fr，t和右视点t‑1时刻帧Fr，t‑1每个像素灰度的差值；右视点帧t时刻Fr，t中坐标为(x，y)的像素点在左视点Fl，t中对应像素的坐标为(x+DVx，y+DVy)；ΔFl，t‑1→t(x+DVx，y+DVy)表示表示左视点t时刻帧Fl，t中坐标为(x+DVx，y+DVy)的像素点和t‑1时刻帧Fl，t‑1对应像素灰度的差值，得到丢失帧前景区域每个像素的时域帧差，将其加至步骤五得到的前景区域错误隐藏图像上：Fr，t(x‑MVx，y‑MVy)＝Fr，t‑1(x，y)+ΔFr，t‑1→t(x，y)然后再用中值滤波器除噪，得到丢失帧Fr，t的重建图像。