[发明专利]行为识别系统

说明书

技术领域

本发明一般地涉及视频分析，并且更具体而言，涉及基于流视频数据 来分析和学习行为。

背景技术

一些当前可用的视频监视系统具有简单的识别能力。然而，许多这样 的监视系统需要(在系统被开发之前)事先知道系统必须能够搜寻出的动 作和/或目标。必须开发出针对特定“异常”行为的下层应用代码来使得这 些监视系统可操作并且充分起作用。换而言之，除非系统下层代码包括对 某些行为的描述，否则，该系统将不能够识别这样的行为。此外，对于不 同的行为，需要开发出不同的软件产品。这使得具有识别能力的监视系统 是劳动密集型的并且昂贵得无人问津。例如，监视机场入口以发现暗中的 犯罪活动和识别出在水池中没有移动的游泳者是两种不同情况，并且因此 需要开发出将它们各自的“异常行为”预先编码的两种不同软件产品。

可以将监视系统设计成记忆正常的场景，并且只要认为正常的场景发 生改变就产生报警。然而，这些类型的监视系统必须被预先编程以知道多 少改变是异常。此外，这样的系统不能精确地表征实际发生的是什么。相 反，这些系统确定：先前认为“正常”的某些事情已经改变。因此，以这 种方式开发的产品被配置成仅能检测有限范围的预定类型的行为。

发明内容

本发明实施例提供了用于基于所获得的视频帧的流来分析和学习行为 的方法和系统。基于对视频帧的分析来确定该流中所描述的对象。每个对 象可以具有相应的搜索模型，搜索模型被用来逐帧地跟踪对象的运动。确 定对象的分类并且生成对象的语义表示。语义表示被用来确定对象的行为 并且学习由所获得的视频流描述的环境中所发生的行为。这样，系统通过 分析环境中对象的移动、活动或不存在来迅速并且实时地学习正常和异常 的行为，并且基于已经习得的来识别和预测异常和可疑的行为。

本发明一个具体实施例包括一种用于对记录场景内的事件的视频帧的 流进行处理的方法。该方法一般可以包括接收该流的第一帧。第一帧包括 用于该帧中所包括的多个像素的数据。该方法还可以包括识别第一帧中的 一组或多组像素。每组像素描述场景内的一个对象。该方法还包括生成存 储与每个所识别的对象相关联的一个或多个特征的搜索模型，使用经过训 练的分类器对所述对象中的每一个对象进行分类，使用搜索模型在第二帧 中跟踪第一帧中所识别出的对象中的每一个对象，并且将第一帧、第二帧 和对象分类提供给机器学习引擎。该方法还包括由机器学习引擎生成对在 多个帧的场景中由对象涉及的行为的一个或多个语义表示。机器学习引擎 一般可以被配置为学习在多个帧的场景中所观察到的行为模式，并且识别 分类后的对象所涉及的行为模式的发生。

附图说明

为了获得并且详细理解本发明的上述特征、优点和目标，对以上简要 描述的本发明的更具体的描述可以参考附图中所示的实施例。

然而，应当注意，附图仅示出本发明的典型实施例，并且因此不应被 认为是对本发明范围的限制，因为，本发明允许其它等效的实施例。

图1是根据本发明一个实施例的行为识别系统的高级框图。

图2是根据本发明一个实施例的、用于基于视频帧的流分析和学习行 为的方法的流程图。

图3示出根据本发明一个实施例的计算机视觉引擎的背景-前景 (background-foreground)模块。

图4示出根据本发明一个实施例的、用于在计算机视觉引擎中跟踪感 兴趣的对象的模块。

图5示出根据本发明一个实施例的计算机视觉引擎的估计器/识别器模 块。

图6示出根据本发明一个实施例的计算机视觉引擎的上下文处理器 (context processor)组件。

图7示出根据本发明一个实施例的机器学习引擎的语义分析 (semantic analysis)模块。

图8示出根据本发明一个实施例的机器学习引擎的感知(perception) 模块。

图9A至图9C示出根据本发明一个实施例的、行为识别系统检测出异 常行为并且发布警告的视频帧序列。

具体实施方式