[发明专利]基于深度传感器的在线视频分割后的处理方法及系统

权利要求书

1.一种基于深度传感器的在线视频分割后的处理方法，其特征在于，包括：

步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；

步骤2，对该二值图像中的前景孔洞进行检测和填充，得到前景孔洞填充的二值图像；

步骤3，对该前景孔洞填充的二值图像进行边界优化，获取优化后的二值图像；

步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。

2.如权利要求1所述的在线视频分割后的处理方法，其特征在于，所述步骤2包括：

步骤201，对所述二值图像进行轮廓检测，记轮廓个数为Num，初始化轮廓计数器n=1；

步骤202，判断n是否小于等于所述轮廓个数Num，当n小于等于所述轮廓个数Num时，执行步骤203；否则执行步骤3；

步骤203，对第n个轮廓进行的内部包含区域进行标记，并记该轮廓及其内部包含区域为一个孔洞；

步骤204，统计所述孔洞的区域对应位置的非零深度像素的个数；

步骤205，判断所述个数是否为零，非零时执行步骤206，否则执行步骤211；

步骤206，计算孔洞轮廓边缘及其权重；

步骤207，计算孔洞区域背景相似度及其权重；

步骤208，对所述孔洞轮廓边缘及其权重、所述孔洞区域背景相似度及其权重进行加权计算，得到孔洞背景相似度；

步骤209，判断所述孔洞背景相似度是否小于给定的阈值T^b，小于时，执行步骤210，否则执行步骤211；

步骤210，在所述孔洞进行前景填充得到前景孔洞填充的二值图像；

步骤211，对轮廓计数器n执行加一操作，并返回步骤202。

3.如权利要求2所述的在线视频分割后的处理方法，其特征在于，所述步骤209中的阈值T^b为0.3。

4.如权利要求1所述的在线视频分割后的处理方法，其特征在于，所述步骤3包括：

步骤301，获取所述前景孔洞填充的二值图像的前景、背景边界过渡区域；

步骤302，计算所述边界过渡区域中每个像素的局部alpha值，其中alpha值借鉴了软分割或抠图中的定义，用于反映前景和背景的合成情况，alpha值可取0到1之间的连续值，alpha值越趋近于0表示像素与背景越相似，alpha值越趋近于1表示像素与前景越相似；

步骤303，计算所述边界过渡区域中每个像素相对前两帧的运动概率；

步骤304，以运动概率为权值，计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和，得到混合alpha值；

步骤305，判断所述混合alpha值是否大于给定的阈值T^f，大于时，将二值图像上对应位置的像素置为1，表示该像素为前景；否则将二值图像上对应位置的像素置为0，表示该像素为背景；

步骤306，得到边界优化后的二值图像。

5.如权利要求3所述的在线视频分割后的处理方法，其特征在于，所述步骤305中阈值T^f为0.5。

6.一种基于深度传感器的在线视频分割后的处理系统，其特征在于，包括：

在线视频前、背景分割模块，基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割得到二值图像；

检查填充模块，用于对该二值图像中的前景孔洞进行检测和填充得到前景孔洞填充后的二值图像；

优化处理模块，用于对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；

虚实融合模块，用于将所述优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合合成视频。