[发明专利]运动目标的运动模式分类和动作识别的方法

说明书

技术领域

本发明涉及的是图像处理技术领域，具体是一种基于光流序列的运动目标的运动模式分类和动作识别的方法。 

背景技术

运动模式(motion pattern)和动作识别(action recognition)是计算机视觉与模式识别领域的研究热点。视频图像中对运动目标的运动模式准确分类和对人的动作进行识别在民用和军用上均具有广泛的应用前景。针对这两个问题，国内外学者提出了很多方法，主要方法归纳如下。 

传统的运动模式分类的方法主要有两种。 

第一种是基于轨迹的方法，对目标进行跟踪得到轨迹，然后对轨迹进行聚类。此类方法的缺点在于必须对目标进行准确的跟踪，而得到的所有轨迹的长度需要相同，才能进行聚类。 

第二种方法是基于光流信息的，可以通过主题模型(topic model)，词袋模型(bag of word)等对光流信息进行聚类，从而得到各种运动模式。 

动作识别的主要方法有： 

(1)基于形状的方法，即通过提取局部特征和全局特征来建立时空模型，然后聚类； 

(2)基于外表的方法，即通过对训练视频里面得到人的外表特征序列，来用隐马尔科夫模型(以下简称为HMM)进行训练，得到对应的HMM，然后对测试视频得到相应的人的外表特征序列，并用HMM模型来判别属于哪个类； 

(3)基于特征点的方法，即对于训练视频，通过特征点提取的算法提取特征，然后通过聚类算法得到一个个视频单词(video words)，对于训练视频，通过支持向量机(SVM)，将各个训练视频提取的特征映分离开，来得到各个类的模型，然后对测试视频提取的视频单词通过支持向量机来进行测试，以判别属于哪个类。 

以上两个识别问题里都用到光流信息和轨迹信息。但是光流和轨迹信息是分开 使用的。轨迹可以提供目标的位置信息，但是必须精确跟踪，光流可以给出目标的运动的信息，但是一种局部的运动信息。而且人们是将以上两个识别问题割裂开来考虑的。 

经对现有技术文献的检索发现，J.Yamato等在《IEEE Conference on Computer Vision and Pattern Recognition》(pp.379-385，1992)上发表“Recognizing Human Action in Time Sequential Images Using Hidden Markov Model”(基于隐马尔科夫模型的时间序列图像的动作识别，IEEE计算机视觉与模式识别会议)。该文提出了利用提取人的外表特征来组成一个时间序列，然后通过隐马尔科夫模型来学习，得到各个动作的模型，然后用来识别。文中的实验结果说明该方法具有可行性。但是该方法只能提取人的特征，用来动作识别，而不能提取车或者其它刚体的特征。因此该方法不能推广到运动模式分类。 

发明内容

本发明的目的在于克服上述现有技术中的不足，提供一种基于光流序列的对运动目标进行运动模式识别或动作识别的方法，该方法将运动模式分类和动作识别这两类以往被分别处理的问题统一起来，能够同时实现运动模式分类和动作识别。 

本发明是通过以下技术方案实现的： 

一种基于光流方向序列运动目标的运动模式识别或动作识别的方法，其特点在于，该方法包括下列步骤： 

①首先提取运动目标的运动轨迹：对于刚体目标，首先通过混合高斯法对背景建模；对于非刚体目标，给出各个节点，然后采用均值漂移跟踪算法，利用目标的颜色信息对运动目标进行跟踪；采用加权的颜色直方图来考虑像素的空间位置信息。 

②计算轨迹点的光流时间序列值：根据运动目标的横向光流速度和纵向光流速度计算出光流方向，并将光流方向量化成4个值并组成时间序列，当相邻的两个值相同时，则合并成一个值，获得光流时间序列值； 

③用隐马尔科夫模型对光流时间序列进行训练，建立运动目标的隐马尔科夫模型： 

所述的光流时间序列，通过隐马尔科夫理论的学习算法，得到相应的隐马尔科夫模型； 

④重复步骤①②③分别建立各种运动目标的隐马尔科夫模型； 

⑤对待识别的运动目标用隐马尔科夫模型进行测试： 

对待测试的运动目标按步骤①②提取运动目标的运动轨迹，计算轨迹点的光流时间序列值， 

⑥计算该光流时间序列值由某个隐马尔科夫模型生成的概率，并与设定的概率阈值进行比较，当计算概率大于设定的阈值，即认为测试的光流序列由这个给定的隐马尔科夫模型生成，则进入步骤⑧；否则进入步骤⑦