[发明专利]面向模态非完全对齐的数据聚类方法

说明书

本发明公开了一种面向模态非完全对齐的数据聚类方法，其包括S1获取多种模态数据集，将其中一个作为对齐模态数据，余下模拟非对齐模态数据；S2将每个模态数据集分别输入一个自编码网络；S3计算对齐模态与非对齐模态的距离矩阵；S4将非对齐模态数据的距离矩阵送入可微的对齐模块计算预测置换矩阵；S5采用损失函数计算损失值；S6基于损失值进行反向传播优化自编码网络；S7将步骤S1中的模态数据集分别输入与其对应优化后的自编码网络；S8采用步骤S3和S4的执行方式得到新的预测置换矩阵，并采用新的预测置换矩阵对步骤S7输出的公共表示进行置换得到对齐的公共表示；S9将步骤S8中输出的公共表示进行拼接，之后进行聚类得到聚类结果。

技术领域

本发明涉及数据分类技术，具体涉及一种面向模态非完全对齐的数据聚类方法。

背景技术

数据聚类是一类无监督的机器学习方法，旨在根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大。由于大多数真实世界的数据都以多个模态的形式呈现，多模态数据聚类通过探索和利用在不同模态之间数据内在的相关性和不变性进行聚类。通常来说，大多数现有的多模态数据聚类方法通过联合学习多个模态的一种公共表示来弥合不同模态之间的差距，再利用公共表示通过k-means之类的传统聚类方法进行数据聚类。

目前多模态数据聚类技术广泛应用于各个领域，比如在机器翻译应用中，通过输入一种语言的词汇即时翻译为另一种语言的词汇，其实质就是一种模态之间的对齐聚类。类似的还有唇读识别和语音翻译，也就是分别将唇部视觉和语音信息转换为对应的文本信息。在商品推荐中，结合海量商品图像与文本属性，学习图像语义特征表达，提高符合用户需求的商品推荐度。在与智能客服进行的多轮对话中，融入视觉与语言的多模态聚类技术，可以自动实现对用户进行自动的文本、图片或视频应答。

但这些多模态技术之所以取得成功主要得益于满足两个假设的高质量多模态数据的存在。一是数据的完备性假设，即所有的样本要在所有的模态中都存在，不能发生数据缺失的情况；二是模态对齐性假设，即不同的模态中数据项之间存在正确的对应关系。换句话说，在目前的技术基础上，要对多模态数据进行聚类，需要人工预先对数据进行筛选和对齐以保证待聚类对象的完备性和对齐性。但是在这些实际场景中，由于时间和空间的复杂性和不协调性，要收集完整的、完全对齐的多模态数据是一项艰巨的任务。

发明内容

针对现有技术中上述不足，本发明提供的面向模态非完全对齐的数据聚类方法在聚类之前不需要预先对数据进行对齐处理，即不需要满足模态对齐性假设。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种面向模态非完全对齐的数据聚类方法，其包括：

S1、根据应用场景获取多目标对象的多种模态的模态数据集，采用任一模态数据集中模态数据作为对齐模态数据，将余下模态数据集通过预设置换矩阵进行置换模拟非对齐模态数据；

S2、将对齐模态数据和所有模拟的非对齐模态数据分别输入一个独立的自编码网络，自编码网络中编码器输出每个模态数据集的公共表示；

S3、根据每个模态数据集的公共表示，计算对齐模态与非对齐模态的距离矩阵：

其中，为模态v的第i个对齐模态数据和模态u的第j个非对齐模态数据之间的距离，i和j分别为数据索引，v为对齐模态数据对应的模态；u为非对齐模态数据对应的模态；为对应的编码器输出；为对应的编码器输出；为2范数的平方；

S4、将非对齐模态数据对应的距离矩阵送入可微的对齐模块，采用目标优化算法迭代得到预测置换矩阵；

S5、根据自编码网络的编码器和解码器的输出及预设置换矩阵和预测置换矩阵，采用损失函数计算损失值；