[发明专利]一种基于多实例马尔科夫模型的行为识别方法

摘要

本发明公开了一种基于多实例马尔科夫模型的行为识别方法。该方法包括以下步骤：对每个视频提取局部特征，用一个局部视频块的特征直方图来表示行为的某个局部运动；通过随机采样的方式得到许多局部视频块，这些局部视频块将形成多个马尔科夫链，这些马尔科夫链表示为某些局部运动在时间上的连续动作；在多实例学习的框架下，模型选择最具有判别性能的马尔科夫链表示行为；测试时，以同样的方式构成多个马尔科夫链表示视频，然后计算出这些马尔科夫链的分数，大于某个阈值为这种行为，反之不属于这种行为。本发明通过多实例马尔科夫模型，达到复杂场景下行为识别的目的，并可以减少对视频的标注。

主权项

一种基于多实例马尔科夫模型的行为识别方法，其特征在于，该方法包括以下步骤：步骤S1，建立训练集，所述训练集包含某个动作A的正样本和负样本视频；对训练集中的每个视频提取其局部时空兴趣点；对提取得到的时空兴趣点进行第一次聚类，得到这些时空兴趣点对应于第一聚类中心的类别；步骤S2，对于所述训练集中的每个原始视频，分别提取其局部视频块及基于所述步骤S1得到的聚类中心的类别，得到用于表示局部视频块的直方图特征向量，基于所述局部视频块得到相应原始视频的马尔科夫链集合B；步骤S3，对所述步骤S2得到的用于表示局部视频块的直方图特征向量进行第二次聚类得到相应局部视频块状态变量的初始值，以及这些局部视频块对应于第二聚类中心的类别，并将这些类别作为这些局部视频块的初始状态；步骤S4，将所述局部视频块的直方图特征向量按照状态变量的不同拼接得到用于描述所述局部视频块所属马尔科夫链的特征向量；步骤S5，构建一分类器，并得到相应马尔科夫链的权重；步骤S6，根据所述步骤S5得到的相应马尔科夫链的权重w，更新马尔科夫链上所有局部视频块的状态变量，直到所述状态变量不再变化，或者达到设置的循环次数；步骤S7，对于待测试视频，与所述步骤S2类似，通过随机采样的方式，得到多个马尔科夫链；步骤S8，与所述步骤S6类似，得到这些马尔科夫链的状态变量；步骤S9，与所述步骤S4类似得到相应马尔科夫链的特征向量；步骤S10，利用所述步骤S5得到的分类器对所述步骤S9得到的特征向量计算得分，如果该分数大于某个预定阈值则判断该待测试视频属于训练集中定义的行为A，否则不属于该种行为。