[发明专利]利用深度学习将图片分离成前景和背景的设备和方法

说明书

本发明实施例涉及将图片，特别是监控视频的图片，分离成前景和背景的领域。提供了一种采用卷积神经网络(Convolut ional Neural Network，CNN)，即基于深度学习的设备和方法。所述CNN用于接收所述图片和背景模型图像作为输入。所述CNN用于基于所述输入生成不同分辨率的特征图，其中，所述特征图的分辨率递减。基于所述特征图，所述CNN用于生成不同分辨率的激活图，其中，所述激活图的分辨率递增。此外，所述CNN用于输出分辨率与所述图片相同的1通道概率图，其中，所述输出的1通道概率图的每个像素对应所述图片的一个像素并指示所述图片的所述对应像素与前景对象或背景对象相关联的概率。

技术领域

本发明实施例涉及将图片(例如，视频，特别是监控视频的图片)分离成前景和背景的任务。具体地，涉及将运动前景对象与静态背景场景分离。为此，本发明提出了一种设备和方法，采用卷积神经网络(Convolutional Neural Network，CNN)，即基于深度学习进行分离。

背景技术

在全球范围，摄像头网络规模不断扩大，从而产生海量监控视频数据。该视频数据需要高效的视频分析管道，以向有关当局提供及时准确的有用信息。

分割是传统视频分析的关键组成部分，用于从静态背景场景中提取运动前景对象。在图片层次，分割可看作是将图片的像素分组到表示运动对象的区域。由于分割是许多处理管道中的第一步，因此实现高分割精度是必要的。目前的分割技术不能在保持实时处理的低计算复杂度的同时，为摄像机的一系列不同的记录条件提供满意的结果。

由于监控摄像机大多数时间内都保持静止位置，因此它们记录的是具有相关运动前景对象的相同背景场景。传统方法通常利用这一假设，通过去除图片的静止区域从视频的每张图片中提取运动对象。

“背景减除”就是这样一种传统方法，它基于当前图片与参考图片之间的“差异”，通常称为“背景模型”。该方法的变型取决于背景模型的构造方式，以及在像素层次上“差异”运算的定义方式。例如，背景模型可以被估计为滑动窗口内接近当前图片(或当前帧)的所有图片(或帧)的每个像素位置处的中位数。该“差异”可以被定义为在每个像素位置处当前图片与背景模型之间的像素强度差异。虽然一些背景减除技术比较快，且其中许多已被广泛用于监控视频分析，但这些技术有如下几个限制：

噪声分割，这是由于例如在阴影、光照变化或天气条件的情况下当前图片与背景模型之间微小的强度差异。

前景区域与背景区域之间的颜色相似性可能会产生孔，甚至将前景掩码打破为不连通的二进制大对象。

间歇性运动对象可能成为背景模型的一部分，因此无法被提取。

由于使用计算资源和训练数据不断增加的深度学习，计算机视觉中的“语义/实例分割”技术近年来有了很大改进。语义分割是将图片的每个像素与类标记(例如“人”、“汽车”、“自行车”、“树”等)关联的过程，而实例分割结合了对象检测和语义分割，以使用唯一的实例标签标记每个对象实例。尽管这些技术开始用于自动驾驶车辆等高级感知系统，但它们不是为监控视频应用而明确设计的，因此，在其算法公式中并没有利用监视摄像机是静止的事实。因此，这些技术在前景对象提取中的性能不是最优的。

“背景减除/语义分割组合”是一种混合技术，包括利用对象级语义解决背景减除的一些具有挑战性的场景。更准确地说，该技术将语义分割输出的“概率图”与背景减除技术的输出相结合，以减少误报。然而，该混合技术必须分别并行运行两个模型，而不会在提取前景运动对象的端到端解决方案中直接使用深度学习。

“基于深度学习的背景减除”是一种相对较新的技术。存在一些传统的使用深度神经网络从视频监控中提取前景对象的方法。下面总结了这些利用深度学习的方法的特点和缺点：

有些方法使用场景特定模型。然而，在这种情况下，每次新部署到新场景都需要进行新训练，使得这些方法低效且不实用。