[发明专利]一种基于深度层的遮挡判断方法及装置

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于深度层的遮挡判断方法及其装置。

背景技术

近年来，随着自由视点技术在硬件和软件研究上的不断突破，自由视点显示在医学领域，勘探领域或娱乐业等领域都受到了越来越多的青睐。

为了使自由视点显示的效果更好，涌现了多种图像的渲染算法，常见的渲染算法大致分为两类：

第一类是原图加深度图渲染算法（2D plus Z），主要是根据场景点在深度图里对应的深度值利用相机的内外参数矩阵计算，先投射再回射渲染出新的虚拟视点视图。

第二类是多视图渲染算法（multi-view），主要是根据已知的多个视图来渲染出场景任意视角的视图。

在对视图进行渲染时，因为场景点之间发生遮挡而导致空洞的发生。如图1所示，C1对应左视图视点，C2对应右视图视点。场景点P1和P2在左视图L中投影在同一位置P，这样，离左视点C1较远的场景点P1就会被点P2遮挡。场景点P1和P2在右视图R上又分别投影于位置P1’，P2’，这样，如果基于左视图和深度图进行右视图的渲染时，在右视图R上的P1’点就会因为没有对应的信息而出现空洞。

解决空洞问题主要的方法有两大类：一类是利用背景，纹理，相邻像素等对空洞进行填充，如中国专利CN200810046313.5；另一种是对深度图进行预处理，主要进行平滑处理，平滑深度的不连续性，以减少图像绘制后产生的空洞，如中国专利CN201010144951.8。

但是上述现有的空洞类型判断技术至少具有以下的缺点：

（1）在对图像进行渲染时候，上述两类方法都没有对空洞进行分类处理；空洞很显然分为两类，一类是量化误差带来的小空洞，一般为几个像素；一类是深度跳变也就是遮挡带来的大空洞，一般为几十个像素点。

（2）在解决空洞问题的时候，第一类的填充技术可以很好的处理量化误差产生的小孔洞，因为不能从本质上解决空洞问题，特别是填补遮挡引起的较大的空洞，会明显的失真，填补效果不理想；第二类平滑处理技术对物体进行了变形，虽然减少了大空洞的数量，但使得到的虚拟视点的视觉质量有明显的下降。

发明内容

针对上述现有技术中存在的缺陷，为了增强图像的渲染效果，本发明的目的是提供一种判断虚拟视图空洞类型的方法，能对空洞进行分类处理。本发明的另外一个目的是提供实现该方法的装置。

为了实现上述发明目的，本发明方法采用的技术方案如下：

一种基于深度层的遮挡判断方法，包括如下步骤：

（1）选取参考视图的深度图；

（2）对所述深度图的所有灰度值所对应的像素个数进行统计，绘制深度直方统计图；

（3）对所述深度直方统计图进行包络检测，绘制出初始包络图；

（4）对所述深度直方图的初始包络图进行邻域平滑滤波，再绘制滤波后的包络图；

（5）对所述滤波后的包络图进行峰值检测，找出分峰位置；

（6）对所述滤波后的包络图，根据所述分峰位置，标记出各深度层，对所述深度层两两做差，找出最小深度层间隔；

（7）获取虚拟视图，确定待渲染的虚拟视图的位置；

（8）计算得到所述虚拟视图相对于所述参考视图的距离，根据计算得到的距离，利用所述最小深度层间隔计算出最小平移尺寸，即最小深度层间隔在虚拟视图上引起的位置平移的值；

（9）对获得的虚拟视图进行空洞检测，找出所有空洞，计算空洞的对角线长度；

（10）利用所述最小平移尺寸作为阈值，并与上述空洞的对角线长度进行比较，判断空洞的类型，从而对不同的图像空洞类型分别采用不同的空洞填补方法。

所述步骤（6）中，设定分峰阈值，把大于分峰阈值的分峰位置作为一个深度层。找出最小深度层间隔后设定深度阈值，比较最小深度层间隔和深度阈值的大小：如果最小深度层间隔大于深度阈值，则取最小深度层间隔作为参数；如果最小深度层间隔小于深度阈值，则取大于深度阈值的最小深度层间隔作为参数。采用上述方法的原因是，避免在获取的真实图像因为整体中存在部分位置深度变化很小与部分位置深度跳变很大同时存在的情况，导致计算出的最小深度跳变是深度变化很小区域计算出来的而理应是被忽略的值。通过设定深度阈值，可以避免在这种情况下误把小空洞判别成大空洞。

所述步骤（8）中，最小平移尺寸的计算公式如下：