[发明专利]基于协同表示和判别准则的多视角联合动作词典学习方法

权利要求书

1.一种基于协同表示和判别准则的多视角联合动作词典学习方法，用于挖掘多视角视频监控中目标动作的内在关联，以实现对多视角场景的动作识别，其特征在于该方法具体包含以下步骤：

第1、视频预处理

第1.1、根据真实标注信息，对所有多视角视频进行分割，保证每个分割后的视频中仅包含一个动作，并且将多个视角下的视频和动作进行对齐；

第1.2、针对多视角视频中的所有图像序列，通过中值滤波进行噪声过滤；

第2、时空兴趣点提取

针对不同视角和不同动作的视频，采用MoSIFT分别提取时空兴趣点，并保存对应的结果；

第3、基于概率图模型的多视角时空兴趣点融合

针对不同视角下相同动作的时空兴趣点的提取结果，使用概率图模型的方法对多视角特征进行融合，挖掘多视角特征的内在一致性；

第4、基于“词袋”的特征归一化

针对第2步提取的时空兴趣点以及第3步处理后的时空兴趣点，采用“词袋”方法对这些时空兴趣点进行归一化，并保存对应的结果，作为对应动作的最后特征；

第5、基于协同表示和判别准则的多视角联合动作词典学习

在第4步归一化特征的基础上，根据协同表示和判别准则制定相应的正则项，构建多视角联合动作词典，并对其进行学习，完成相应词典的构建；

第6、基于多视角联合动作词典和稀疏表示的动作识别

为了验证多视角动作联合词典构建方法的有效性，在多视角人体动作识别中进行了验证，实现目标动作的识别。

2.根据权利要求1所述的方法，其特征在于第3步所述基于概率图模型的多视角时空兴趣点融合步骤包括：

第3.1、分别基于MoSIFT算法提取相邻视角下相同动作的时空兴趣点；

第3.2、针对相邻视角，以每个时空兴趣点为节点，并以两个视角下时空兴趣点的相似性为边，构建图模型；

第3.3、针对某个视角下每个点，根据其与另一个视角下点的相似性和预先设定的阈值，找出最为相似的几个点，从而以这几个点的中心为替代点，其它点将被剔除。

3. 根据权利要求1所述的方法，其特征在于第5步所述基于协同表示和判别准则的多视角联合动作词典学习，其步骤包括：

第5.1、在所有视角提取特征的基础上，为了挖掘多视角内在的关联特性，制定多视角联合保真项、基于图模型的融合保真项、组稀疏正则项和具有结构化的判别正则项；

第5.2、在3.1的基础上，构建基于协同表示和判别准则的多视角联合动作词典学习模型，用于学习对应的词典；

第5.3、针对该模型的联合非凸性，无法直接求解，但是当其中某个变量固定时，该模型又变为凸函数，因此，通过坐标下降法对该目标函数进行求解迭代，获得对应的多视角动作联合词典。