[发明专利]基于图结构的多模态媒体数据聚类方法及装置

说明书

本申请涉及一种基于图结构的多模态媒体数据聚类方法及装置，其中，方法包括：提取无标签多模态媒体数据，并根据多模态媒体数据的每个文档的词频特征向量和文档特征向量计算文档之间的多模态相似度；根据文档的数量计算相似度的阈值，得到无向图结构；在无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类。由此，利用多媒体数据中多粒度多模态的特征，计算文档之间的关联性，利用图结构和社区发现算法将大规模的多媒体文档进行划分，输出若干个包含相同主题文档的文档簇，在聚类过程中通过清除边缘的文档簇，进一步提高了数据聚类和处理冗余信息的能力。

技术领域

本申请涉及多模态媒体数据处理技术领域，特别涉及一种基于图结构的多模态媒体数据聚类方法及装置。

背景技术

随着信息时代的到来，数据量呈指数增长的态势，互联网上的信息也朝着多模态和多文档的方向快速发展。其中，多模态的数据是指互联网中同时包含文本、图像、音频和视频等多模态信息的文档数量飞速增长，单一网站、新闻和文章中往往包含多媒体的数据，这就要求在处理数据的过程中能够融合不同模态的信息；多文档的数据是指信息来源的数量快速增大，同一主题下不同的文档的数目也随之增加，例如一个新闻主题下通常含有各个官方媒体以及数量庞大的自媒体进行报道，这样的特性对于文档的聚类提出了更高的有要求。

目前，多模态媒体数据聚类方法面临的主要挑战为：

(1)多文档的输入数据会增大信息处理的难度。在一个新闻主题中，一些特别重要的信息可能会重复的出现在很多个文档当中，这就会造成冗余的信息；另外，由于当今各个媒体的水平参差不齐，各种虚假信息混在在文档中，这就会产生无效的信息；

(2)处理多模态的信息要求数据的一致性，无论是通过转录和关键帧提取等技术进行数据模态的统一，还是拼接加权等方式进行特征向量的融合，都会存在一定的缺陷；

(3)随着数据量的增大，多媒体数据的聚类对于算法的时间要求也变得更加严格，并且传统的聚类方法在多媒体数据上表现不好。

发明内容

本申请提供一种基于图结构的多模态媒体数据聚类方法及装置，利用多媒体数据中多粒度多模态的特征，计算文档之间的关联性，利用图结构和社区发现算法将大规模的多媒体文档进行划分，输出若干个包含相同主题文档的文档簇，在聚类过程中通过清除边缘的文档簇，进一步提高了数据聚类和处理冗余信息的能力。

本申请第一方面实施例提供一种基于图结构的多模态媒体数据聚类方法，包括以下步骤：

提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文档特征向量计算文档之间的多模态相似度；

根据所述文档的数量计算相似度的阈值，得到无向图结构；以及

在所述无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类。

可选地，所述提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文章特征向量计算文档之间的文本相似度，包括：

计算文档文本的文本特征向量，其中，通过词嵌入模型，将句子的特征向量根据长度加权平均获得所述特征向量；

使用预训练模型计算文档图片的图片特征向量，并将所述图片特征向量与所述文本特征向量拼接得到文档特征向量；

计算所述文档文本的词频特征向量；

通过所述文档特征向量和词频特征向量分别计算文档之间的相似度，并进行加权计算，得到所述多模态相似度。

可选地，所述根据所述文档的数量计算相似度的阈值，得到无向图结构，包括：