[发明专利]标注包括一组帧的视频流的方法和装置

说明书

本文公开了用于标注从视频数据流中获得的视频轨道的系统和方法。如果视频轨道中包含至少一个包含特定人物的感兴趣区域，则所述视频轨道被视为正向视频轨道；如果视频轨道不包含包含所述特定人物的感兴趣区域，则所述视频轨道被视为负向视频轨道。视觉相似性模型使用正向袋进行训练。

交叉申请

本发明要求2016年8月26日递交的发明名称为“标注包括一组帧的视频流的方法和装置(Method and Apparatus for Annotating a Video Stream Comprising aSequence of Frames)”的第15/248,684号美国专利案的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。

技术领域

本发明大体上涉及视频处理领域，尤其涉及基于视频的对象跟踪。

背景技术

视频监控系统可用于跟踪视频中出现的对象。监控视频还可以用于搜索视频中出现的对象，包括人。现代视频设备可以产生大量数据，手动审查不仅耗时，而且成本高效率低。可使用机器学习和计算机视觉技术来辅助监控。然而，行人重识别等监控任务通常需要基于监督机器学习的模型训练，而监督机器学习需要依赖操作人员对视频帧数据进行手动逐帧审查才能对单个图像进行标注。因此，使用这种系统的成本很高。

发明内容

一种标注包括一组帧的视频流的示例方法包括：扫描所述一组帧中的第一帧以搜索人物；向视频轨道添加所述第一帧中可能包含所述人物的图像的感兴趣区域的表示；扫描所述一组帧中的下一帧以搜索所述人物，其中所述下一帧的所述扫描基于前一帧中所述感兴趣区域的位置在所述下一帧的空间位置处开始；向所述视频轨道添加所述下一帧中的感兴趣区域的表示；以及基于所述视频轨道中的至少一个所述感兴趣区域是否包含特定人物的图像为所述视频轨道指定标签。

在一些实施例中，所述第一帧中的所述感兴趣区域的所述表示包括指示所述感兴趣区域的位置和尺寸的一组坐标。

在一些实施例中，所述第一帧中的所述感兴趣区域的所述表示包括从所述第一帧中的所述感兴趣区域中提取的图像数据。

在一些实施例中，所述方法还包括在所述指定之前，在显示设备上显示所述视频轨道。

在一些实施例中，为所述视频轨道指定标签包括：如果所述视频轨道中的至少一个所述感兴趣区域包含所述特定人物，则为所述视频轨道指定正标签。

在一些实施例中，所述贴有正标签的视频轨道中包含所述特定人物的帧数小于所述贴有正标签的视频轨道中的总帧数。

在一些实施例中，所述视频流包含不止一个人物的图像，并且所述视频轨道包括多个视频轨道，其中所述多个视频轨道中的每一个对应于所述相应不止一个人物中的每一个。

在一些实施例中，所述第一帧和所述下一帧是所述视频流中的连续帧。

在一些实施例中，所述扫描所述第一帧包括分析像素数据。

在一些实施例中，所述分析包括基于所述像素数据计算元数据。

在一些实施例中，所述扫描所述第一帧包括：分析滑动窗口内包含的所述第一帧的一部分；以及确定所述部分包含所述人物的概率。

在一些实施例中，所述方法还包括基于所述贴有标签的视频轨道针对所述特定人物构建相似性模型。

在一些实施例中，所述构建包括使用多实例学习算法来构建。