[发明专利]一种立体视频B帧整帧丢失错误隐藏方法

摘要

本发明公开了一种立体视频B帧整帧丢失错误隐藏方法，其根据丢失帧在时域上的前向参考帧与后向参考帧之间的时域相关性，将丢失帧中的每个图像块判定为属于缓慢静止区域或剧烈运动区域，对于属于缓慢静止区域的图像块，由于其时间相关性比较强，因此直接采用时域双向帧拷贝错误隐藏方法对图像块进行错误隐藏；对于属于剧烈运动区域的图像块，计算图像块的时域最优运动矢量，根据图像块的时域最优运动矢量对应的失真值的大小选择合适的时域候选信息和视点域候选信息进行错误隐藏，由于充分利用了丢失帧周围相邻帧的有效信息，采用失真值度量的方法进行有效的选择，使得最终恢复图像的视觉效果(即主观质量)和客观质量得到了大幅度的提升。

主权项

一种立体视频B帧整帧丢失错误隐藏方法，其特征在于包括以下步骤：①假设HBP编码结构的立体视频中t时刻的右视点图像为B帧，并假设该B帧为丢失帧；②计算丢失帧在时域上的前向参考帧与丢失帧在时域上的后向参考帧之间的像素域帧差图，然后对丢失帧和像素域帧差图分别进行互不重叠的图像块划分处理，再计算像素域帧差图中的每个图像块的像素域平均帧差值，最后根据像素域帧差图中的每个图像块的像素域平均帧差值，判定丢失帧中相同坐标位置的图像块属于剧烈运动区域还是属于缓慢静止区域；③对丢失帧中的每个图像块进行错误隐藏，以完成丢失帧中的每个图像块的亮度信息和色度信息的恢复，具体过程为：③‑1、将丢失帧中当前待处理的图像块定义为当前图像块；③‑2、如果当前图像块属于缓慢静止区域，则直接采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③‑3；如果当前图像块属于剧烈运动区域，则采用时域双向运动估计方法计算当前图像块的时域最优运动矢量，当当前图像块的时域最优运动矢量对应的失真值小于T2时，再采用时域双向错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③‑3；而当当前图像块的时域最优运动矢量对应的失真值大于或等于T2时，再采用联合时域和视点域错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复，然后执行步骤③‑3；其中，T2表示设定的失真值判定阈值；所述的步骤③‑2中采用时域双向帧拷贝错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复的具体过程为：a1、将丢失帧在时域上的前向参考帧和丢失帧在时域上的后向参考帧分别划分成个互不重叠的尺寸大小为16×16的图像块，其中，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度；a2、将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的亮度信息和丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的亮度信息的均值作为当前图像块的亮度信息；将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的色度信息和丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的色度信息的均值作为当前图像块的色度信息；所述的步骤③‑2中采用时域双向运动估计方法计算当前图像块的时域最优运动矢量的具体过程为：b1、将丢失帧在时域上的前向参考帧和丢失帧在时域上的后向参考帧分别划分成个互不重叠的尺寸大小为16×16的图像块，其中，W表示实际编解码中立体视频中的立体图像的宽度，H表示实际编解码中立体视频中的立体图像的高度；b2、假设丢失帧在前向参考帧与后向参考帧之间匀速运动，则当前图像块与前向参考帧中与当前图像块相匹配的图像块之间的运动矢量的方向和当前图像块与后向参考帧中与当前图像块相匹配的图像块之间的运动矢量的方向相反，而值相同；b3、对于当前图像块中的每一个像素点，计算对前向参考帧进行运动估计得到的预测像素值与对后向参考帧进行运动估计得到的预测像素值的差值；然后计算当前图像块对应的所有差值的和，记为STSAD(v)，其中，v表示当前图像块与前向参考帧中与当前图像块相匹配的图像块之间的运动矢量，亦表示当前图像块与后向参考帧中与当前图像块相匹配的图像块之间的运动矢量，p表示以当前图像块的左上角像素点为坐标原点时当前图像块中的像素点的坐标矢量，B表示以当前图像块的左上角像素点为坐标原点时由当前图像块中的所有像素点的坐标矢量构成的集合，Ft‑k(p‑v)表示丢失帧在时域上的前向参考帧Ft‑k中坐标矢量为p的像素点用运动矢量v进行运动估计得到的预测像素值，Ft+k(p+v)表示丢失帧在时域上的后向参考帧Ft+k中坐标矢量为p的像素点用运动矢量v进行运动估计得到的预测像素值，符号“| |”为取绝对值符号；b4、在由水平方向搜索范围[‑Δx1,Δx1]和垂直方向搜索范围[‑Δy1,Δy1]形成的矩形范围内进行运动矢量全遍历搜索，将使得STSAD(v)最小的运动矢量作为当前图像块的时域最优运动矢量，其中，Δx1＝16，Δy1＝16；所述的步骤③‑2中采用时域双向错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复的具体过程为：c1、利用当前图像块的时域最优运动矢量，获取丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的亮度信息预测值和色度信息预测值，以及丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的亮度信息预测值和色度信息预测值；c2、将前向参考帧中与当前图像块相同坐标位置的图像块的亮度信息预测值和后向参考帧中与当前图像块相同坐标位置的图像块的亮度信息预测值的均值作为当前图像块的亮度信息，并将前向参考帧中与当前图像块相同坐标位置的图像块的色度信息预测值和后向参考帧中与当前图像块相同坐标位置的图像块的色度信息预测值的均值作为当前图像块的色度信息；所述的步骤③‑2中采用联合时域和视点域错误隐藏方法对当前图像块进行错误隐藏，以完成当前图像块的亮度信息和色度信息的恢复的具体过程为：d1、将丢失帧在时域上的前向参考帧中与当前图像块相同坐标位置的图像块的视差矢量作为当前图像块的第一视差矢量，利用当前图像块的第一视差矢量得到当前图像块的第一亮度信息预测值和第一色度信息预测值；d2、将丢失帧在时域上的后向参考帧中与当前图像块相同坐标位置的图像块的视差矢量作为当前图像块的第二视差矢量，利用当前图像块的第二视差矢量得到当前图像块的第二亮度信息预测值和第二色度信息预测值；d3、将当前图像块的第一亮度信息预测值和第二亮度信息预测值的均值作为当前图像块的视点域亮度信息预测值，并将当前图像块的第一色度信息预测值和第二色度信息预测值的均值作为当前图像块的视点域色度信息预测值；d4、采用时域双向错误隐藏方法得到当前图像块的时域亮度信息预测值和时域色度信息预测值；d5、对当前图像块的视点域亮度信息预测值和当前图像块的时域亮度信息预测值进行加权求和得到当前图像块的亮度信息，并对当前图像块的视点域色度信息预测值和当前图像块的时域色度信息预测值进行加权求和得到当前图像块的色度信息，其中，当前图像块的视点域亮度信息预测值和当前图像块的视点域色度信息预测值的权值均为当前图像块的时域亮度信息预测值和当前图像块的时域色度信息预测值的权值均为③‑3、将丢失帧中下一个待处理的图像块作为当前图像块，然后返回步骤③‑2继续执行，直至丢失帧中的所有图像块各自的亮度信息和色度信息恢复完毕。