[发明专利]一种应用于立体视频切换帧的自适应错误隐藏方法

摘要

本发明涉及一种应用于立体视频切换帧的自适应错误隐藏方法，其首先对立体视频当前视频帧是否发生场景切换，如果有场景切换，采用空域错误隐藏方法，如果没有场景切换，再判定当前丢失宏块的视频帧为相对静止帧还是相对运动帧，如果是相对静止帧，采用帧拷贝的错误隐藏方法进行丢失信息的恢复，如果是相对运动帧，采用根据外边界匹配值选定候选块的错误隐藏方法恢复图像信息；该方法能够有效地恢复有场景切换时立体视频帧中的宏块信息，而且复杂度相对较低，效果较好。

主权项

一种应用于立体视频切换帧的自适应错误隐藏方法，其特征在于：对于立体视频中发生有场景切换且存在有丢失宏块的视频帧采用如下方式进行错误隐藏：对视频帧中丢失宏块中某一点的像素值通过以下公式进行插值恢复：其中，fi,j(t)表示第t时刻视频帧内某一丢失宏块中坐标位置为(i,j)的点的像素亮度值，fT、fB、fL、fR分别表示前述丢失宏块上、下、左、右四个方向上的相邻宏块中与该丢失宏块相关联的四个边界点的像素值，dT、dB、dL、dR分别表示对应上、下、左、右四个方向上的权重，而dT、dB、dL、dR则用待插值恢复点与四个边界点之间的距离进行表征；对于立体视频中没有发生有场景切换且存在有丢失宏块的右视点视频帧采用如下方式进行错误隐藏：先判断除第1视频帧之外的有丢失宏块的右视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤一所述的方法恢复丢失宏块的右视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤二所述的方法恢复丢失宏块的右视点视频帧中所有宏块的像素值；其中前述步骤一包括如下步骤：步骤1‑1、将立体视频中第t时刻的右视点视频帧IR(t)中检测到的丢失宏块定义为右视点当前丢失宏块；将右视点当前丢失宏块上、下、左、右方向上的宏块和第t时刻的左视点视频帧IL(t)、第t‑1时刻的右视点视频帧IR(t‑1)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块，t≥2；若右视点当前丢失宏块的帧是右视点第一帧，只将右视点当前丢失宏块上、下、左、右方向上的宏块和第一时刻的左视点视频帧IL(1)中与右视点当前丢失宏块对应坐标位置的宏块作为参考候选块；步骤1‑2、利用外边界匹配法计算参考候选块和右视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，fk(t)是右视点当前丢失宏块周围相邻宏块的边界像素值，fz(t)是参考候选宏块的外边界像素值，K是右视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；步骤1‑3、计算出步骤1‑2中的平均绝对差值MADm，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；步骤1‑4、将步骤1‑3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中fi,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，fi,j,1、fi,j,2、fi,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；步骤1‑5、将步骤1‑4中选出新的加权候选宏块fi,j,new中的像素值作为右视点当前丢失宏块的像素值；其中前述步骤二为：将立体视频中第t时刻的右视点视频帧IR(t)中检测到的丢失宏块定义为右视点当前丢失宏块，将第t‑1时刻右视点视频帧IR(t‑1)中与右视点当前丢失宏块坐标位置相同的像素点直接赋值给右视点当前丢失宏块中相应坐标位置的像素点，其中t≥2；对于右视点第1视频帧中的丢失宏块，将左视点第1视频帧中与该丢失宏块坐标位置相同的像素点直接赋值给该丢失宏块中相应坐标位置的像素点；对于立体视频中没有发生有场景切换且存在有丢失宏块的左视点视频帧采用如下方式进行错误隐藏：先判断除第1视频帧之外的有丢失宏块的左视点视频帧属于相对运动帧还是属于相对静止帧，如果属于相对运动帧，则采用下述步骤三所述的方法恢复丢失宏块的左视点视频帧中所有丢失宏块的像素值；如果属于相对静止帧，则采用下述步骤四所述的方法恢复丢失宏块的左视点视频帧中所有宏块的像素值：其中，前述步骤三包括以下步骤：步骤3‑1、将立体视频中第t时刻左视点视频帧IL(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将左视点当前丢失宏块上、下、左、右方向上的宏块和第t‑1时刻左视点视频帧IL(t‑1)中与左视点当前丢失宏块对应坐标位置的宏块作为参考候选块,默认左视点第1视频帧没有丢失宏块,t≥2；步骤3‑2、利用外边界匹配法计算参考候选块和左视点当前丢失宏块的外部相邻像素值的平均绝对差值，将第m个参考候选块的外边界匹配的平均绝对差值记为其中，M是外边界有效像素的数目，fk(t)是左视点当前丢失宏块周围相邻宏块的边界像素值，fz(t)是参考候选宏块的外边界像素值，K是左视点当前丢失宏块周围相邻块的边界像素集，k∈K；Z是参考候选宏块的边界像素集，z∈Z；步骤3‑3、计算出步骤3‑2中的平均绝对差值MADm，将平均绝对差值最小作为选择的标准，按照依次从参考候选宏块中选择出最优的三个候选宏块；步骤3‑4、将步骤3‑3中的三个候选宏块进行加权平均，新的加权候选宏块中的每一个像素值由三个候选宏块的像素值进行加权平均得到，记为其中fi,j,new表示新的加权候选宏块中坐标位置为(i,j)的像素值，fi,j,1、fi,j,2、fi,j,3表示优先级依次下降的三个候选宏块中的坐标位置为(i,j)的像素值；步骤3‑5、将步骤3‑4中选出新的加权候选宏块fi,j,new中的像素值作为左视点当前丢失宏块的像素值；其中前述步骤四为：将立体视频中第t时刻的左视点视频帧IL(t)中检测到的丢失宏块定义为左视点当前丢失宏块，将第t‑1时刻左视点视频帧IL(t‑1)中与左视点当前丢失宏块坐标位置相同的像素点直接赋值给左视点当前丢失宏块中相应坐标位置的像素点，其中t≥2，默认左视点第1视频帧没有丢失宏块。