[发明专利]一种基于多级感兴趣区域的多视点视频编码方法

说明书

技术领域

本发明涉及多视点视频编码领域，特别涉及一种基于多级感兴趣区域的多视点视频编码方法。

背景技术

随着3D技术的迅速崛起与快速发展，多视点视频由于其生动丰富的视觉体验，吸引了越来越多的注意力，并成为下一代多媒体系统的关键技术之一，这些应用包括自由视点电视（FTV）和三维立体电视（3DTV）等。多视点视频是指由不同视点的多个摄像机从不同视角拍摄同一场景得到的一组视频信号，是3D视频的一种有效表示方法。而随着相机数目的增加，多视点视频的海量数据已成为制约其广泛应用的一个瓶颈。为此，国际电信联盟远程通信标准化组织（ITU-T）和动态图像专家组（MPEG）组成的联合视频工作组（JVT）提出了多视点视频编码（MVC）的概念来有效处理多视点视频。目前MVC标准以H.264/AVC视频编码标准补篇的形式出现，并兼容H.264/AVC标准。这确保了MVC标准技术的先进性以及应用实施的可行性。

现存的MVC方法主要是在数字信号处理理论和香农信息论的基础上通过减少时间和视点间的冗余来提高率失真性能，但是忽略了人类视觉系统（HVS）对视频场景感知的多样性。尽管HVS的神经资源有限，但依然能够实时分析复杂场景，因为HVS可以将部分输入场景选择为“显著区域”。因此，如何结合HVS的视觉感知特性来提高编码效率，具有非常重要的理论意义和实用价值。基于视觉注意的MVC编码方法可以根据视频内容的不同有效改善比特率的分布，并且能够在不影响视频质量主观评价的前提下提高编码效率。

大量的人类视觉生理学和心理学研究结果表明，人眼对视频图像中的不同内容并非一视同仁，而是表现出选择性和迁移性。人眼会下意识地将一幅图像分为若干个不同的区域，并将注意力集中在人眼感兴趣区域（ROI）。如果感兴趣区域的数目多于一个，注意力在这些区域会有一个转移的过程，即注意力首先集中在最感兴趣区域，一段之间之后再转移到次感兴趣区域，依此类推。人类视觉的这种特性对图像观察者理解图像内容和评价图像质量起着至关重要的作用。利用视觉显著性模型来计算图像中的感兴趣区域，并将其表示为显著性图，这是得到视觉注意区域的一种有效方式。

为了基于视觉显著性实现MVC比特分配优化，首先需要得到准确的ROI。大多数ROI检测方法都是针对一个具体对象，通过建立显著性模型来决定ROI。传统ROI提取方法将一帧划分为两部分：ROI和非ROI，而这两者之间的视频质量的巨大差别会导致重建帧图像不平滑。目前研究者提出了一些基于多级ROI的视频编码的方法：Zhou[1]等提出了一种多级ROI模型，该模型由眼鼻中心区域、脸部轮廓区域，边缘区域和背景区域组成，然后将视频场景分为感兴趣程度不同的区域。Kim[2]和Lee[3]等将屏幕的中心区域设定为优先权最高的主要ROI，其他区域根据其与主要ROI的距离来成比例地分配优先性。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

上述方法应用在背景简单、对象单一的视频场景时取得了较好的效果；当应用在复杂的视频场景时，提取到的ROI不准确，进而导致视频编码质量较差、整体编码效率较低。

发明内容

本发明提供了一种基于多级感兴趣区域的多视点视频编码方法，本方法通过多级ROI分割，提高了视频编码的效率和质量，详见下文描述：

一种基于多级感兴趣区域的多视点视频编码方法，所述方法包括以下步骤：

（1）对深度图进行基于宏块的深度显著性计算，获得深度显著性值S_MB；

（2）基于所述深度显著性值S_MB、多级感兴趣区域的分割标准计算分割阈值；

（3）通过所述分割阈值对多视点视频进行分割，获取感兴趣级别不同的多个视频区域；

（4）根据感兴趣级别S_L调整量化参数QP，通过调整后的量化参数对多个视频区域分别进行编码，得到重建视频。

所述对深度图进行基于宏块的深度显著性计算，获得深度显著性值S_MB具体为：