[发明专利]一种深度视频快速编码方法

摘要

本发明公开了一种深度视频快速编码方法，其先对深度视频序列进行空域增强和时域增强完成预处理，再对预处理后的深度视频序列中的每帧进行编码，在编码过程中，对于第1帧和最后一帧直接采用3D‑HEVC原始编码平台进行编码；对于其余帧，根据编码单元所属的区域类型，减少需要遍历的HEVC编码预测模式的种类，从而在保证虚拟视点绘制质量和编码率失真性能的情况下，有效地降低了编码的复杂度。

主权项

一种深度视频快速编码方法，其特征在于包括以下步骤：①将待处理的高清深度视频序列定义为当前深度视频序列；②对当前深度视频序列进行预处理，预处理包括两部分，第一部分为：对当前深度视频序列中除第1帧深度图像和最后一帧深度图像外的其余每帧深度图像进行空域增强，在空域增强过程中确定对应的深度图像的边界区域和非边界区域；第二部分为：对空域增强处理后的深度视频序列进行时域增强；所述的步骤②中第一部分的具体过程为：②‑1a、将当前深度视频序列中当前待处理的深度图像定义为当前帧；②‑1b、若当前帧为当前深度视频序列中的第1帧深度图像或最后一帧深度图像，则对当前帧不作处理；若当前帧不为当前深度视频序列中的第1帧深度图像或最后一帧深度图像，则对当前帧中所有属于非边界区域的断裂像素点采用高斯滤波器进行滤波处理，对当前帧中所有属于非边界区域的非断裂像素点采用自适应窗口进行滤波处理，对当前帧中所有属于边界区域的断裂像素点和所有属于边界区域的非断裂像素点均不作处理；②‑1c、将当前深度视频序列中下一帧待处理的深度图像作为当前帧，然后返回步骤②‑1b继续执行，直至当前深度视频序列中的所有深度图像处理完毕，完成当前深度视频序列中除第1帧深度图像和最后一帧深度图像外的其余每帧深度图像的空域增强；所述的步骤②中第二部分的具体过程为：②‑2a、假设当前深度视频序列中的深度图像的宽度和高度对应为W和H，并假设当前深度视频序列中包含的深度图像的总帧数为T帧；②‑2b、对空域增强处理后的深度视频序列进行时空变换，得到时空变换后的深度视频序列，将时空变换后的深度视频序列中的第j帧深度图像中坐标位置为(i,t)的像素点的像素值记为dj(i,t)，dj(i,t)＝dt(i,j)，其中，1≤j≤H，1≤i≤W，1≤t≤T，dt(i,j)表示空域增强处理后的深度视频序列中的第t帧深度图像中坐标位置为(i,j)的像素点的像素值；②‑2c、对时空变换后的深度视频序列中的每帧深度图像采用时域滤波窗口进行时域增强处理，得到时域增强处理后的深度视频序列，将时域增强处理后的深度视频序列中的第j帧深度图像中坐标位置为(i,t)的像素点的像素值记为d'j(i,t)，其中，t0表示时域滤波窗口的大小，dj(i,t')表示时空变换后的深度视频序列中的第j帧深度图像中坐标位置为(i,t')的像素点的像素值，wj(i,t')表示dj(i,t')的权重；②‑2d、对时域增强处理后的深度视频序列进行时空变换，得到预处理后的深度视频序列，将预处理后的深度视频序列中的第t帧深度图像中坐标位置为(i,j)的像素点的像素值记为d't(i,j)，d't(i,j)＝d'j(i,t)；所述的步骤②‑1b中当前帧中的断裂像素点与非断裂像素点的确定过程为：令cr(i,j)表示当前帧中坐标位置为(i,j)的像素点的断裂标记；然后根据当前帧中的每个像素点的坐标位置及像素值，确定当前帧中的每个像素点的断裂标记，对于当前帧中坐标位置为(i,j)的像素点，接着根据当前帧中的像素点的断裂标记，扩大值为1的断裂标记的范围，具体过程为：对于当前帧中坐标位置为(i',j')的像素点，若该像素点的断裂标记的值为1，则当当前帧中坐标位置为(i'‑1,j')的像素点的断裂标记的值为0时，将当前帧中坐标位置为(i'‑1,j')的像素点的断裂标记的值更改为1；再将当前帧中断裂标记的值为0的像素点确定为非断裂像素点，将当前帧中断裂标记的值为1的像素点确定为断裂像素点；其中，cr(i,j)的取值为0或1，1≤i≤W,1≤j≤H，W和H对应表示当前深度视频序列中的深度图像的宽度和高度，dp(i‑1,j)表示当前帧中坐标位置为(i‑1,j)的像素点的像素值，dp(i,j)表示当前帧中坐标位置为(i,j)的像素点的像素值，符号“| |”为取绝对值符号，Th0为设定的断裂判断阈值，2≤i'≤W,1≤j'≤H；③将预处理后的深度视频序列中当前待处理的深度图像定义为当前帧；④判断当前帧是否为预处理后的深度视频序列中的第1帧深度图像或最后一帧深度图像，如果是，则直接采用3D‑HEVC原始编码平台对当前帧进行编码，然后执行步骤⑦；否则，执行步骤⑤；⑤获取当前帧的运动区域和非运动区域；并在当前帧中，与步骤②中获得的与当前帧对应的深度图像的边界区域相应的区域作为当前帧的边界区域，与步骤②中获得的与当前帧对应的深度图像的非边界区域相应的区域作为当前帧的非边界区域；⑥确定当前帧中的每个编码单元是否既属于边界区域又属于运动区域，对于既属于边界区域又属于运动区域的编码单元，遍历所有HEVC编码预测模式，选出率失真代价值最小的HEVC编码预测模式作为当前编码单元的最优预测模式；对于其它编码单元，仅遍历所有HEVC编码预测模式中的SKIP模式和Merge模式，选出率失真代价值最小的模式作为当前编码单元的最优预测模式；然后利用当前帧中的每个编码单元的最优预测模式对当前帧中的每个编码单元进行编码；⑦将预处理后的深度视频序列中下一帧待处理的深度图像作为当前帧，然后返回步骤④继续执行，直至预处理后的深度视频序列中的所有深度图像编码完毕。