[发明专利]聚类数目自动选择的多模态数据聚类方法

说明书

本发明公开了一种聚类数目自动选择的多模态数据聚类方法，其包括获取多个模态数据集合；寻找模态数据集合中模态数据的邻居，连接互为邻居的模态数据形成邻接图，并依次构建模态数据间的相似性图；将归一化处理后的每个模态数据集合分别输入一个自编码器网络；初始化各模态数据所对应的潜在表示和连通图参数；采用损失函数计算损失值，根据损失值进行梯度反向传播，更新自编码器网络的网络参数、连通图参数和潜在表示直到损失函数收敛；根据优化后的连通图，连接多个连通图中两个模态数据在超过半数连通图中都已连接的模态数据形成公共连通图；在公共连通图上进行子图划分，将独立的子图作为聚类的一个簇，得到多个目标对象最终的聚类结果。

技术领域

本发明涉及数据分类技术，具体涉及一种聚类数目自动选择的多模态数据聚类方法。

背景技术

聚类算法是一种不依靠人工标签，自动化对数据进行类别信息划分，将具有相同特征的对象划分在一起。例如，通过对用户网购数据的分析，将用户划分为成几个具有明显特征区别的细分群体(如数码爱好者、零食爱好者等)，帮助商家针对性推荐；通过对大量图片的分析，将无标注图片划分为实际类别中(比如将动物猫、狗、兔子等进行划分)，以帮助用户进行图片整理和处理及后续待识别图像中对象类别的准确划分，以达到大大减少人力资源。

一个物体可以用多种模态进行体现，比如一个人物可以通过声音和外形两个模态进行体现，一个视频会通过图片、声音和文字三个模态进行体现，一张图片会通过Gabor、WM、CENTRIST、HOG、GIST和LBP等模态体现，一个物体可以采集为RGB图片、深度图像、热红外线图像等多个数据模态。由于同一物体的各模态之间存在数据互补信息，也存在公共信息，通过利用同一物体或事件的不同描述中的公共信息和互补信息，对多模态数据进行聚类，可以准确地实现对象的识别。

对此在实际应用中，我们通常会采用多种类型的传感器装置收集某区域的数据信息，之后采用多模态聚类算法对采集的多种数据模态进行聚类，以实现对传感器采集的多个对象的分类，以辅助工作人员对多个传感器装置采集的数据进行分类整理，这样实现后不需要工人通过浏览采集的信息进行人工分类，从而降低工作人员工作强度的目的。

目的大部分多模态聚类算法均需人工指定聚类数目，例如，在对加噪声的手写数字图片0到9的聚类识别中(有噪声的图片视作一个模态，无噪声的图片视作另一个模态)；大多数单模态聚类算法也需要人工指定聚类数目，如k-means聚类方法、谱聚类算法、低秩表示学习(LRR)和多视图聚类算法深度典型相关性分析方法(DCCA)、基于自编码器的深度典型相关性分析(DCCAE)、潜在多视图表示学习(LMSC)等，都需要人手动给定聚类数目。

人工在给定聚类数目之前，需要了解用于聚类的数据信息的对象存在哪些，若是不能准确知道，需要对数据信息进行浏览，以得到准确的对象数量，以保证给定的聚类中心能够实现准确地聚类；这无疑是增加了人工的劳动强度，若是人工浏览不够仔细，出现对象数目记录不准确，算法无法自动将数据聚类正确，可能将不同类数据划分到一类，也可能将同一类数据划分成多个类。

因此，如何在聚类算法中，自动确定聚类个数，并对多模态数据实现较好的聚类效果，成为目前多模态聚类算法在实际应用中亟待解决的一大难点和挑战。

发明内容

针对现有技术中的上述不足，本发明提供的聚类数目自动选择的多模态数据聚类方法解决现有技术的聚类方法需要指定聚类数目才能聚类的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种聚类数目自动选择的多模态数据聚类方法，其包括：

获取多个目标对象的m个模态对应的模态数据集合，并对每个模态数据集合中的模态数据进行归一化处理；

采用最近邻居算法计算模态数据集合中模态数据的K个最近邻居，连接互为邻居的模态数据形成邻接图，并将模态数据间的相似性整理形成相似性矩阵；