[发明专利]基于协同表示和判别准则的多视角联合动作词典学习方法

摘要

本发明公开了一种基于协同表示和判别准则的多视角联合动作词典学习方法，实现对多视角场景内在关系的挖掘。具体包含以下步骤：（1）视频预处理，（2）时空特征提取，（3）基于图模型的多视角特征融合，（4）基于“词袋”方法的特征归一化，（5）基于协同表示和判别准则的多视角联合动作词典学习，（6）基于多视角联合动作词典和稀疏表示的动作识别。本发明的优点是通过基于协同表示和判别准则的多视角联合动作词典学习，充分挖掘多视角场景中人体动作特征的内在关联特性，从而为实现多视角人体动作的高效识别提供帮助。

主权项

一种基于协同表示和判别准则的多视角联合动作词典学习方法，用于挖掘多视角视频监控中目标动作的内在关联，以实现对多视角场景的动作识别，其特征在于该方法具体包含以下步骤：第1、视频预处理第1.1、根据真实标注信息，对所有多视角视频进行分割，保证每个分割后的视频中仅包含一个动作，并且将多个视角下的视频和动作进行对齐；第1.2、针对多视角视频中的所有图像序列，通过中值滤波进行噪声过滤；第2、时空兴趣点提取针对不同视角和不同动作的视频，采用MoSIFT分别提取时空兴趣点，并保存对应的结果；第3、基于概率图模型的多视角时空兴趣点融合针对不同视角下相同动作的时空兴趣点的提取结果，使用概率图模型的方法对多视角特征进行融合，挖掘多视角特征的内在一致性；第4、基于“词袋”的特征归一化针对第2步提取的时空兴趣点以及第3步处理后的时空兴趣点，采用“词袋”方法对这些时空兴趣点进行归一化，并保存对应的结果，作为对应动作的最后特征；第5、基于协同表示和判别准则的多视角联合动作词典学习在第4步归一化特征的基础上，根据协同表示和判别准则制定相应的正则项，构建多视角联合动作词典，并对其进行学习，完成相应词典的构建；第6、基于多视角联合动作词典和稀疏表示的动作识别为了验证多视角动作联合词典构建方法的有效性，在多视角人体动作识别中进行了验证，实现目标动作的识别。