[发明专利]一种多视点深度视频处理方法

说明书

技术领域

本发明涉及一种视频信号处理技术，尤其是涉及一种多视点深度视频处理方法。

背景技术

深度视频序列对应于彩色视频序列，反映的是对象物体距离相机的远近，将彩色图中的每个像素点距离相机的实际距离量化到0～255，再将这个量化值赋给彩色图中的对应位置即成为深度图。深度视频序列中亮度值越大说明该像素点位置距离相机越近，反之，说明该像素点距离相机越远。深度视频序列是由深度相机拍摄或是深度估计得到的，由于深度相机比较昂贵且存在适用范围及精度的问题，因此目前的深度视频序列一般都是由深度估计得到的。

由于深度求取的不准确会导致时域抖动效应，从而降低深度的时域相关性，降低编码效率，且深度骤变也容易在虚拟视点绘制时出现空洞，造成填补困难与计算复杂度的提高，及虚拟视点生成的速度降低。目前的深度预处理往往从全局出发对深度图进行滤波，而未结合人眼的视觉感知来保护那些易被察觉的区域，因此结合人眼对深度的关注度这一理论有进一步改进的空间。另外，深度图经过H.264编码器时会引入新的噪声，且由于深度图的特殊性质，这些编码失真往往在深度的边缘区域最为明显，而边缘区域恰是虚拟视点绘制的敏感区域，因此需要深度恢复技术来还原真实的深度边界，以提高虚拟视点绘制图像的主客观质量。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高虚拟视点绘制图像的主客观质量的多视点深度视频处理方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点深度视频处理方法，其特征在于它的处理过程为：对待处理的原始多视点深度视频进行预处理，以降低编码码率；然后对预处理后的多视点深度视频进行编码压缩、解码重建操作；再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理；最后利用处理后的多视点深度视频绘制虚拟视点视频图像；其中，对解码重建后的多视点深度视频进行深度恢复及空域平滑处理的具体过程为：

①将解码重建后的多视点深度视频中当前正在处理的第k帧深度图像定义为当前深度图像，并记为D'(W,H,k)，其中，1≤k≤K，在此K表示解码重建后的多视点深度视频中包含的深度图像的帧数，W表示解码重建后的多视点深度视频中的深度图像的水平分辨率，H表示解码重建后的多视点深度视频中的深度图像的竖直分辨率，W×H表示解码重建后的多视点深度视频中的深度图像的分辨率；