[发明专利]基于协同表示和判别准则的多视角联合动作词典学习方法

说明书

技术领域

 本发明属于计算机视觉和模式识别技术领域，涉及一种基于协同表示和判别准则的多视角联合动作词典学习方法，用于挖掘多视角监控场景中人体动作特征内在的关联性，在人体动作识别领域，验证了多视角联合动作词典学习方法的有效性。

背景技术

基于视觉的人体动作识别是计算机视觉和模式识别领域的一个极具挑战性的研究热点，并因其在智能监控、便捷的人机交互、数字娱乐等领域的潜在应用受到学术界和工业界的密切关注。早期的人体动作识别大多是在可人为控制的特定实验环境下进行，即通过固定或控制光照、视角、距离和被关注对象位置等外因来简化问题，从而提高动作识别的准确率。但是，随着应用的不断推广，在可控环境下的现有研究成果往往无法适应于实际的多样化需求。当前的真实应用系统往往存在严重的遮挡、视角变化和被关注对象位置变化等多种外因带来的影响，常常通过多摄像头监控系统的搭建来采集多视角信息，从而为准确的人体动作识别提供帮助。因此，挖掘人体动作的视觉特性，融合多视角信息，研究多视角下的人体动作识别方法成为当前研究热点。

在计算机视觉和模式识别相关研究领域中，多视角人体动作分析一直是最活跃的研究领域之一。由于三维空间往往较二维图像包含更多的视觉信息，因此早期研究多是通过多视角采集的视差图像进行三维空间的重建，并在三维空间进行人体动作识别。由于三维重建计算复杂度高，并且理想的三维重建本身存在很强的挑战性，因此，近些年通过二维视觉信息的表征和复杂人体动作模型的构建成为该领域主流方法。但是由于目标差异较大，同时，即使相同目标的动作也存在差异，这给人体动作识别带来了很大困难。

发明内容

本发明的目的是针对多视角动作识别中，常用方法无法充分地挖掘多视角场景下的人体动作的内在关联性，因此，本发明提供了一种高效的基于协同表示和判别准则的多视角联合动作词典学习方法，用于充分地挖掘多视角场景下人体动作的内在关联，并在人体动作识别中进行了验证。

本发明提供的基于协同表示和判别准则的多视角联合动作词典学习方法，用于挖掘多视角监控场景中人体动作特征内在的关联性，从而为高效的人体动作识别提供帮助。该方法具体包含以下步骤：

第1、视频预处理

第1.1、根据真实标注信息，对所有多视角视频进行分割，保证每个分割后的视频中仅包含一个动作，并且将多个视角下的视频和动作进行对齐；

第1.2、针对多视角视频中的所有图像序列，通过中值滤波进行噪声过滤；

第2、时空兴趣点提取

针对不同视角和不同动作的视频，采用MoSIFT分别提取时空兴趣点，并保存对应的结果；

第3、基于概率图模型的多视角时空兴趣点融合

针对不同视角下相同动作的时空兴趣点的提取结果，使用概率图模型的方法对多视角特征进行融合，挖掘多视角特征的内在一致性；具体步骤包括：

第3.1、分别基于MoSIFT算法提取相邻视角下相同动作的时空兴趣点；

第3.2、针对相邻视角，以每个时空兴趣点为节点，并以两个视角下时空兴趣点的余弦相似性为边，构建图模型；

第3.3、针对某个视角下每个点，根据其与另一个视角下点的相似性和预先设定的阈值，找出最为相似的几个点，从而以这几个点的中心为替代点，其它点将被剔除；

第4、基于“词袋”的特征归一化

针对第2步提取的时空兴趣点以及第3步处理后的时空兴趣点，采用“词袋”方法对这些时空兴趣点进行归一化，并保存对应的结果，作为对应动作的最后特征；

第5、基于协同表示和判别准则的多视角联合动作词典学习

在第4步归一化特征的基础上，根据协同表示和判别准则制定相应的正则项，构建多视角联合动作词典，并对其进行学习，完成相应词典的构建；具体步骤包括：

第5.1、在所有视角提取特征的基础上，为了挖掘多视角内在的关联特性，制定多视角联合保真项、基于图模型的融合保真项、组稀疏正则项和具有结构化的判别正则项；

第5.2、在3.1的基础上，构建基于协同表示和判别准则的多视角联合动作词典学习模型，用于学习对应的词典；

第5.3、针对该模型的联合非凸性，无法直接求解，但是当其中某个变量固定时，该模型又变为凸函数，因此，通过坐标下降法对该目标函数进行求解迭代，获得对应的多视角动作联合词典；

第6、基于多视角联合动作词典和稀疏表示的动作识别