[发明专利]一种自由视点视频整帧丢失错误隐藏方法

摘要

本发明公开了一种自由视点视频整帧丢失错误隐藏方法，其根据编码预测结构的预测关系，充分利用丢失帧时间域上的前向参考彩色图像和后向参考彩色图像对丢失帧中的每个图像块进行进行双向运动补偿恢复，并针对自由视频系统存在多个视点，充分利用丢失帧视点域上的左向参考彩色图像和右向参考彩色图像对丢失帧中的每个图像块的双向视差补偿恢复，再根据双向运动补偿恢复结果和双向视差补偿恢复结果得到最终的恢复帧，这种恢复方式大大提高了错误隐藏后图像视频的重建质量；另一方面，对丢失帧不仅进行了时域的双向恢复，而且还进行了视点间的双向恢复，双向的视点间的参考信息增加了丢失帧恢复的冗余信息，对自由视点视频重建质量有很大的提高。

主权项

1.一种自由视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像，然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码，再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端；在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码，获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像；其中，YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V；②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧，记为并假设丢失帧的所有参考彩色图像已正确解码，丢失帧的参考彩色图像包括时域上的后向参考彩色图像和前向参考彩色图像及视点域上的左向参考彩色图像和右向参考彩色图像其中，2≤s≤S，s的初始值为2，2≤t≤N,t的初始值为2，i＝1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V，(x,y)表示彩色图像中的像素点的坐标位置，表示丢失帧中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s个参考视点的第t-k时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s个参考视点的第t+k时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s-1个参考视点的第t时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s+1个参考视点的第t时刻的彩色图像中坐标位置为(x,y)的像素点的第i个颜色分量的值，1≤k≤L,L表示设定的编码预测结构中一个图像组的长度；③将丢失帧分割成个互不重叠的尺寸大小为m×m的图像块，将丢失帧中的第j个图像块记为B_j，其中，W表示彩色图像的宽度，H表示彩色图像的高度，m的取值由彩色图像的尺寸大小决定，④根据丢失帧的后向参考彩色图像和前向参考彩色图像获取丢失帧中的每个图像块的运动矢量估计值，将丢失帧中的第j个图像块B_j的运动矢量估计值记为⑤根据丢失帧的左向参考彩色图像和右向参考彩色图像获取丢失帧中的每个图像块的视差矢量估计值，将丢失帧中的第j个图像块B_j的视差矢量估计值记为⑥利用丢失帧中的每个图像块的运动矢量估计值，在丢失帧的后向参考彩色图像和前向参考彩色图像中进行双向运动补偿得到丢失帧中的每个图像块的时域恢复块，将丢失帧中的第j个图像块B_j的时域恢复块记为B′_Tj；⑦利用丢失帧中的每个图像块的视差矢量估计值，在丢失帧的左向参考彩色图像和右向参考彩色图像中进行双向视差补偿得到丢失帧中的每个图像块的视点域恢复块，将丢失帧中的第j个图像块B_j的视点域恢复块记为⑧根据丢失帧中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值，计算丢失帧中的每个图像块中的每个像素点的像素值，将丢失帧中的第j个图像块B_j中的所有像素点的像素值的集合记为{p^j(u,v)|(u,v)∈Bj}=0.5×{pTj′(u,v)|(u,v)∈BTj′}+0.5×{pSj′(u,v)|(u,v)∈BSj′},]]>最后得到丢失帧的恢复帧，记为其中，表示丢失帧中的第j个图像块B_j中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块B_j的时域恢复块B′_Tj中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块B_j的视点域恢复块中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，表示丢失帧的恢复帧中坐标位置为(x,y)的像素点的第i个颜色分量的值。