[发明专利]一种流形空间中多视点视频的共享-差异表示及聚类方法

说明书

本发明公开了一种基于乘积Grassmann流形的多视点视频数据的共享‑差异表示(PGM‑CER)聚类分析方法，用于解决传统多视聚类方法无法将多视数据中的共享和差异信息分离开来、不适用于具有复杂非线性结构的多维数据的问题。本方法中，聚类过程分为三部分，首先，用乘积Grassmann流形来表示多视点视频，再将共享‑差异表示从欧氏空间扩展到乘积Grassmann流形空间；然后，建立PGM‑CER模型，在全局约束下学习其共享‑差异信息；最终，实现多视点视频聚类。直接求解流形上的优化问题比较困难，本方法通过流形空间与欧氏空间的映射求解最优解，简化了学习过程，效果显著优于其他经典多视聚类方法。

技术领域

本发明涉及计算机视觉和数据挖掘等领域，尤其是面向一种基于乘积Grassmann流形的多视点视频数据的共享-差异表示及聚类方法。

背景技术

受拍摄角度的限制，单个监控摄像机拍摄的单视点视频数据不可避免受到光照、遮挡等因素影响而降低聚类性能。近年来，随着监控摄像机的迅速普及，人体行为常常被多个摄像机同时从不同角度拍摄到，可以克服单视视频中光照变化和遮挡对聚类结果的影响。大多数多视聚类方法是通过融合多视数据或其对应的多视相似矩阵构造共享相似矩阵，忽略了不同视中的差异信息，事实上各视中的差异信息对提升聚类精度具有重要作用。此外，大多数多视聚类方法是面向多视向量数据设计的，很难处理具有非线性流形结构的多视视频数据。因此，面对这些体量大、变化多样的非线性多视视频数据，如何对其进行高效地表达，挖掘数据中的判别信息，是目前数据挖掘领域面临的最大挑战，这一问题的解决有赖于多视视频数据的流形表示及聚类方法的突破。

综上，多视聚类方法旨在从不同视中学习反映数据之间相似性的关系矩阵，大多数多视聚类方法主要存在三个缺点：(1)直接从多视原始数据或多视相似矩阵中构造共享相似矩阵，无法将多视数据中的共享和差异信息分离开来；(2)都是针对线性空间中的向量数据而设计的，并采用欧氏距离度量它们的相似性，不适用于具有复杂非线性结构的多维数据，例如多视视频和图像数据；(3)都是关注每幅图像的多个特征，但是多个摄像机从不同角度采集的多视角的视频数据却很少受到关注。

发明内容

为解决传统多视聚类方法存在的问题，本发明公开了一种基于乘积Grassmann流形的多视数据的共享-差异表示(PGM-CER)聚类分析方法。首先，用乘积流形来表示多视视频数据，再将共享-差异表示从欧氏空间扩展到乘积流形空间，在全局约束下学习其共享-差异信息，实现视频数据的聚类任务。直接求解流形上的优化问题比较困难，本方法通过流形空间与欧氏空间的映射求解最优解，简化了学习过程，效果显著优于其他经典多视聚类方法。

我们探索这些视频数据的非线性流形结构，将基于自表达的共享-差异表示学习方法引入乘积流形空间，构建抽象的乘积流形聚类框架。

针对由多个摄像机同时从不同角度拍摄的多视数据，首先采用乘积流形来将其表示为Grassmann点作为多视输入数据，然后用我们提出的PGM-CER方法对输入数据进行处理，学习多视角一致性矩阵C和视角差异性矩阵D^v，在探索所有视角共享性信息的同时也保证了每个视角的独特性信息得到有效利用，对C和D^v进行合并得到最终相似度矩阵W，对其执行谱聚类NCut操作，得到最终视频聚类结果，提高聚类精度和识别能力，流程图如图1所示。

有益效果

针对具有复杂非线性结构的多视点视频数据，本发明基于乘积流形在全局约束下同时学习多视数据的共享-差异信息，实现多视点视频聚类任务，实验证明本发明大大提升了聚类精度和识别能力。

附图说明

图1、本发明方法流程图。

图2(a)-2(d)、不同数据集PGM-CER的聚集准确度(ACC)与参数λ₁和λ₁的关系。