[发明专利]基于学习的视频中显著物体序列自动检测方法

说明书

技术领域

本发明属于视觉注意分析与视频中显著物体序列自动检测，特别涉及单 个显著物体序列的自动检测方法。

背景技术

随着互联网和数字摄像技术的发展，互联网上可以获得视频的越来越多， 使得视频检索、视频整理和总结变得非常重要。视频中的内容分析一直是视 频检索与总结中的重要部分。传统的视频注意力分析通过对时空序列中像素 点赋予不同的权重来标识视频中不同部分的重要程度，并能够识别可能的视 觉集中点，但是没有“物体”这个概念因而无法检测出物体。现实中物体的 概念指我们经常见到的如人脸、汽车、行人、桌子、猫、狗等等，而显著物 体指的是在图像中最明显的物体或者叫做一眼就能够看到的物体。大量视频 中存在单一显著物体序列，其中显著物体非常小并且具有很多的干扰，这对 于基于图像的显著物体检测非常具有挑战性。

早先有关这方面的工作包括视频注意力分析，其中静态和动态显著性线 索被证明对于视频中的显著视觉注意力点的检测很有用。静态线索来自单帧 图像中的视觉注意力，即图像不同区域给出不同的权重来表明其重要性。Itti. 等(IEEE Transaction on PAMI，1998，pp.1254-259)在1998年提出的显著性 模型通过计算像素点在不同尺度下光强、颜色和方向等特征的中间与周围之 间的差异性来计算每个像素点的重要性，即显著性图。通过赢者通吃或者其 它线性、非线性集成算法，可以识别出一些视觉注意力集中点。这是目前常 用的视觉注意力计算方法。动态线索主要来自于视频中感兴趣目标的运动信 息，有很多方法用来捕获动态线索。利用帧差直接计算前后两帧的差别来捕 获动态信息，其仅仅局限于固定相机而对移动背景无能为力(Zhan，Image and Graphics，2007，pp 519-523)。在(Bur.，ICVS，2007)中，大的运动被认为导致显 著的注意力，即运动场幅度越大，显著性越强。但在实际的视频数据中也存 在背景具有更大的运动。文献(Vision Research，2006，pp4333-4345)利用运动对 比度在作为动态显著性线索，但局部的对比度将导致物体内部运动一致的区 域不能够被显示出来。

在(IEEE ICCV’05，pp 1754-1761)中，基于运动场的层次分割被用来提 取物体的各个部分并跟踪。如果具有不同运动场的场景和物体能够正确的分 割，就可以认为某个在视频中一直存在且具有连续运动场的物体是目标物体， 该方法主要受运动层分割的限制。静态图像中的主题模型被扩展到运动视频 中，这样可以集成时域中的运动模型。其主要集中在发现低分辨率图像的小 目标，而对纹理丰富的前景目标有困难(David，IEEE CVPR’07)。整个物体假 设有一个单一的常数速度模型，并且物体的表面视觉单词(visual words)被 认为在整个视频中是恒定的。所有依赖于主题模型(topic model)的方法都 受到物体旋转和表面变化的影响。

视频注意力分析的方法专注于直接从图像的表面或者运动场等特征中 计，尽管可以识别出一些注意力集中点，其无法解决“物体”这个整体概念， 另外，没有集成全局的信息往往带来计算的错误。视频中的自动物体发现类 的方法最大的问题在于：静态与动态显著性特征选择与有效集成，以及求解 算法的效率与收敛问题。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于学习的视频 中显著物体序列自动检测方法，该方法能够可靠的检测显著物体序列，在基 于区域和基于边缘的评测指标上都有显著提高。

本发明采用基于学习的方法能有效解决静态与动态显著性特征的选取与 多种约束条件的优化集成，以及目标序列检测的高效计算。

本发明的技术方案是这样实现的：

本发明的技术方案通过如下迭代优化的算法来实现显著物体序列的自动 检测的，具体步骤如下：

1)计算静态显著性特征：局部、区域和全局显著性特征计算来自每一帧 图像的静态线索；

2)计算动态显著性特征，并与静态显著性特征自适应组合起来构成显著 性特征约束；

计算动态显著性特征方法如下：