[发明专利]基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割

说明书

图像处理装置包括第一类型的传感器、第二类型的传感器和控制电路系统。控制电路系统接收先前彩色图像帧中的感兴趣对象的第一前景掩模，并且进一步以第一图像分辨率估计当前彩色图像帧中的感兴趣对象的第二前景掩模。控制电路系统还将第二前景掩模上采样到第二图像分辨率，并选择当前彩色图像帧中的至少一个感兴趣区域。然后，控制电路系统通过基于所选择的感兴趣区域中的至少一个像素的基于核密度的估计而生成的期望参数来提升上采样的第二前景掩模。提升的第二前景掩模展现出由相对于估计的第二前景掩模进行上采样引起的最小的前景掩模误差。

对相关申请的交叉引用/通过引用并入

无。

技术领域

本公开的各种实施例涉及视频处理中的图像分割。更具体而言，本公开的各种实施例涉及用于基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割的图像处理装置和方法。

背景技术

图像处理领域的最新发展已带来各种图像分割技术的进步。此类技术基于不同的基于统计和/或概率图像特征的方法，促进从特定图像中分割感兴趣对象(诸如，人体或人脸)。在这样的一种方法中，可以基于从特定图像估计感兴趣对象的前景掩模来完成对象分割。分割任何对象的关键可能在于确定适当的边界条件，以将估计的前景掩模中的像素分类为前景像素和背景像素。

常规上，在一种解决方案中，从捕获的图像中减去预定的完全静态背景(BG)图像。可以基于背景场景的多个顺序图像并且通过取这些顺序图像的平均值来在对象分割处理的开始生成预定静态BG图像。减去的图像中的剩余像素被标记为前景像素。但是，前景像素可能包括错误确定的前景像素。例如，在生成预定的静态BG图像时，场景中可能存在移动对象(包括用户)，或者相机可能从原始位置移位。这样的错误可能导致另一个静态BG图像的迭代生成。在另一个解决方案中，深度信息可以用于识别前景像素。但是，由于大多数深度图传感器中存在噪声，因此深度信息对于确定前景像素可能是不可靠的。这样的噪声可能导致基于深度信息获得的识别出的前景区域的边界不均匀。而且，这种有噪声的深度信息可能导致前景区域内非期望的间隙或孔洞的生成。

如本申请的其余部分以及参考附图所阐述的，通过将所描述的系统与本公开的一些方面进行比较，常规和传统方法的其它限制和缺点对于本领域技术人员将变得清楚。

发明内容

如在权利要求中更完整阐述的，基本如至少一个图所示和/或结合至少一个图所描述的，提供了一种用于基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割的图像处理装置和方法。

可以通过阅读以下对本公开的详细描述以及附图来理解本公开的这些和其它特征以及优点，在附图中，相同的参考标记始终表示相同的部分。

附图说明

图1是图示根据本公开的实施例的用于基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割的图像处理装置的网络环境的框图。

图2是图示根据本公开的实施例的用于基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割的示例性图像处理装置的框图。

图3A和图3B共同地图示了根据本公开的实施例的用于基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割的图1的图像处理装置的示例性操作。

图4A和图4B共同是图示根据本公开的实施例的用于基于自适应前景掩模上采样在彩色图像帧序列中进行对象分割的示例性方法的流程图。

具体实施方式