[发明专利]基于遮挡区域检测的虚拟视图生成方法

说明书

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种基于遮挡区域检测的虚拟视图生成方法。

背景技术

当前，电视已由模拟电视、数字电视、高清电视，发展到立体电视(3DTV)和自由视点电视(FTV)。立体显示技术有良好的应用前景。然而，立体片源的匮乏及获取的困难是制约立体产业发展的瓶颈。

目前的立体显示器主要有两类：基于双目立体成像的显示器和裸眼多视点立体显示器。多视角裸眼显示技术又可分为投影式、立体式和视差式三类，其中以视差式最为普遍。视差式裸眼立体显示器在传统显示器上增加一层特殊的光学介质，利用其光学特性，将多视角的像素按一定规则向屏幕外一定范围内投射，观看者可在不同的位置由左右眼分别观看到不同视角的图像，产生双目视差，形成立体感。这种显示技术需要多视角的片源。

目前，主要采取三种方式获取立体片源：应用2D转3D技术对现有的平面素材进行转换；3D采集，使用新设计的采集设备重新拍摄；3D建模，利用3D几何模型进行渲染。

多视点采集系统需要一定数量的相机捕获足够的场景信息。多视点采集获取片源具有成本高、传输和处理的数据量大等不足。应用传统的2D转3D技术进行虚拟视图渲染，需要利用自然场景的先验信息、连续图像之间以及图像本身的内在时空关联性等进行深度估计，算法复杂，且输出图像的真实感较难保证。

根据视差--深度理论，为得到拍摄对象的真实深度信息，至少需要一对从不同视角采集的图像。使用虚拟视图生成技术，根据已有的或拍摄的双目视频离线地或实时地生成多视点视频，相对于多视点采集，可以降低成本和数据传输、处理量。现有的虚拟视图生成方法包括场景三维重建法、基于图像的视图合成方法。其中，后者在绘制速度和图像真实感上具有优势，且以基于深度估计的方法为主。

基于深度估计的方法通常根据左、右视图信息，使用全局优化算法进行密集匹配，得到稠密深度图，然后通过逐像素平移渲染虚拟视图。这类方法存在计算量大、遮挡区域重现造成渲染空洞等问题。且在视点变化时，前景和背景物体由于深度不同，在视图中偏移量不同，前景物体可能对背景物体形成遮挡，相应地，遮挡区域是在一个视角中可见，而在另一视角中不可见的区域。

由于遮挡区域在目标视图中没有匹配区域，在基于参考视图和目标视图的视差图中，这部分区域均没有深度值，导致虚拟视图中缺少相应信息，表现为渲染空洞。目前，空洞填补通常作为后续处理操作，或使用一定的背景填充，或仅使用某个视角的信息，没有充分利用两个视角的信息。同时，基于深度估计的方法存在大量计算冗余。深度估计占用了大部分的计算时间，但是得到的视差信息并非完全必需，其中相邻的属于同一场景层次的像素的深度基本相同，算法效率不高。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种基于遮挡区域检测的虚拟视图生成方法，该方法能够充分利用两个参考视点的信息，避免大面积渲染空洞的产生；同时，该方法还可以减少计算冗余，提高计算效率；另外，虚拟视图的渲染基于遮挡区域和非遮挡区域局部变化方法，无需每个像素按视差值计算，从而可提高绘图速度。

为了实现上述目的，本发明的实施例提出了一种基于遮挡区域检测的虚拟视图生成方法，包括以下步骤：S1：对左、右参考视点的左视图和右视图进行边缘检测，并提取边缘信息；S2：根据所述边缘信息分别对所述左视图和右视图划分像素段，并对所述像素段进行匹配；S3：对所述像素段的匹配结果进行检查，以根据遮挡情况进行二次匹配，并检测所述左视图和右视图的遮挡区域；以及S4：根据所述像素段的匹配结果和所述遮挡区域的检测结果生成虚拟视图。

根据本发明实施例的虚拟视图生成方法，通过检测左、右视图中的遮挡区域，对其进行缩放、截取等信息生成虚拟视图中的相应区域，能够充分利用已有的遮挡区域信息，避免大面积渲染空洞的产生；同时，对于不存在遮挡的主体部分，去除了深度估计的计算消耗。该方法充分利用两个参考视点的信息，通过遮挡区域的检测，为虚拟视图渲染中由于遮挡重现造成的渲染空洞问题提供解决方法；并且，以基于像素段的匹配代替基于点的密集匹配，不需生成稠密视差图，减少了计算冗余，提高计算效率；虚拟视图渲染阶段采取遮挡区域和非遮挡区域局部变换的方法，不需逐像素按视差值计算，使得绘制速度快。

另外，根据本发明上述实施例的基于遮挡区域检测的虚拟视图生成方法还可以具有如下附加的技术特征：