[发明专利]基于深度传感器的在线视频分割后的处理方法及系统

说明书

技术领域

本发明涉及视频内容分析、图像处理和计算机视觉领域，特别是涉及一种基于深度传感器的在线视频分割后的处理方法及系统。

背景技术

随着普适计算技术和视频编码技术以及宽频网络技术的发展，在因特网上通过远程视频实现位于不同地方的人的共同交流和通讯成为21世纪的新热点，并展现出广阔的应用前景。除了传统的行政会议和办公会议的应用范畴，远程视频交互的应用范围已经扩展到远程医疗，远程教育、远程商务会议和法律等等领域。最近几年，远程视频交互逐步向提供沉浸式体验发展，目的是让参与者有身临奇境的感觉，但是目前的远程视频还存在很多问题，并不如“面对面”交流自然，其中一个重要的问题就是交流具备严重的空间隔离感，由于视频交互用户处于不同的空间位置，因此通过简单的图像拼接技术并不能实现多个场景的自然融合，从而不能让会话人感到所有会话成员都在同一个会话空间之中，产生心灵的隔阂。实时高质量的在线视频分割技术通过准确的前景提取，并结合虚实融合技术可以实现不同物理位置的用户犹如身处同一个虚拟会话空间。

在线视频分割指的是提取在线视频中的前景（多为人体），其目的是将用户感兴趣的物体（即前景）与视频帧中的其它部分（即背景）分离开，以便对前景进行特殊处理，如背景替换和虚实融合。所谓虚实融合，指的是将提取的前景与虚拟场景融合到一个统一的三维空间中。为了获得高质量的融合效果，用于前景提取的分割方法必须要能得到物体的精确边界，前景提取的结果可用像素的alpha值来表示，alpha值等于0表示像素是背景，alpha值等于1表示像素是前景。对于软分割或抠图，alpha值可取0到1之间的连续值。

由于在线视频分割不能有用户交互，且其对算法的速度和鲁棒性都有较高的要求，因此到目前为止还处于非常初级的研究阶段。为了达到实时，在线视频分割方法很难借鉴图像和视频抠图的技术，而只能对输入图像进行逐帧的二元分割。一种二元分割方法是将分割问题转化为一个马尔科夫随机场的能量最小化问题，并使用图切割算法快速地求解。为了获取高质量的二元分割，传统的方法是提取多种能用于区分前景和背景的特征，并将这些特征融入到现有的图像分割框架中。常用的特征有颜色分布、图像边缘、背景图等。除此之外，在线视频分割还能采用一些新的特征，如深度信息。由于深度信息对于光照变化的鲁棒性，因此，利用深度信息对改善分割结果很有帮助。但是，由于深度传感器获取的实时深度图像在深度非连续处容易出错，而且非常不稳定，从而导致分割结果在边界附近出现闪烁。

为了获得较好的视觉效果，改善基于深度信息的前景分割结果，一种方法是在分割之后融合彩色图像中提取的多种额外信息提高分割精度。由于前、背景边界处经常就是深度非连续处，因此存在严重的误分割。一种后处理方法[1]是利用边界像素的局部颜色模型和边界模型估算其混合alpha值，由于该方法能够自适应地调整边界区域的宽度，使边界清晰但不生硬，在一定程度上保证了单帧分割结果的准确性和光滑性。但是该方法没有利用视频帧的时序分割结果，难以保证视频分割时序的一致性。采用抠图的方法也可以对边界进行优化，但是抠图的方法运行速度较慢，很难满足在线视频分割的实时性要求。

综上，可以看出，目前分割后处理的方法很难在准确度和实时度上达到一个平衡，难以满足在线视频分割的要求。

发明内容

本发明的目的是：解决针对基于深度传感器的在线视频分割在边界容易出错的现象，及现有技术在准确度和实时性上存在顾此失彼的问题，从而提供一种满足实时性要求的高质量的基于深度传感器的在线视频分割后处理方法和一套虚实融合系统。

为实现上述目的，本发明提出了一种基于深度传感器的在线视频分割后的处理方法，包括：

步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像，在该二值图像中，0表示像素是背景，1表示像素是前景；

步骤2，对该二值图像中的前景孔洞进行检测和填充，得到前景孔洞填充后的二值图像；

步骤3，对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；

步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。

所述步骤2包括：

步骤201，对所述二值图像进行轮廓检测，记轮廓个数为Num，初始化轮廓计数器n=1；

步骤202，判断n是否小于等于所述轮廓个数Num，当n小于等于所述轮廓个数Num时，执行步骤203；否则执行步骤3；