[发明专利]基于图结构的多模态媒体数据聚类方法及装置

权利要求书

1.一种基于图结构的多模态媒体数据聚类方法，其特征在于，包括以下步骤：

提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文档特征向量计算文档之间的多模态相似度；

根据所述文档的数量计算相似度的阈值，得到无向图结构；以及

在所述无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类。

2.根据权利要求1所述的方法，其特征在于，所述提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文章特征向量计算文档之间的文本相似度，包括：

计算文档文本的文本特征向量，其中，通过词嵌入模型，将句子的特征向量根据长度加权平均获得所述特征向量；

使用预训练模型计算文档图片的图片特征向量，并将所述图片特征向量与所述文本特征向量拼接得到文档特征向量；

计算所述文档文本的词频特征向量；

通过所述文档特征向量和词频特征向量分别计算文档之间的相似度，并进行加权计算，得到所述多模态相似度。

3.根据权利要求1所述的方法，其特征在于，所述根据所述文档的数量计算相似度的阈值，得到无向图结构，包括：

以所述每个文档为节点，在所述多模态相似度超过所述阈值的文档节点对之间构建边，形成所述无向图结构。

4.根据权利要求1所述的方法，其特征在于，所述在所述无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类，包括：

应用所述社区发现算法，生成多个主题相同的文档簇；

基于所述文档簇得到所述多个点的集合。

5.根据权利要求4所述的方法，其特征在于，在生成所述多个主题相同的文档簇之后，还包括：

对不满足预设条件的边缘的文档簇进行清理。

6.一种基于图结构的多模态媒体数据聚类装置，其特征在于，包括：

计算模块，用于提取无标签多模态媒体数据，并根据所述多模态媒体数据的每个文档的词频特征向量和文档特征向量计算文档之间的多模态相似度；

获取模块，用于根据所述文档的数量计算相似度的阈值，得到无向图结构；以及

聚类模块，用于在所述无向图结构上应用社区发现算法，将所有文档节点划分为多个点的集合，其中，每一个集合中包括主题相同的多个文档，完成多模态多媒体数据的聚类。

7.根据权利要求6所述的装置，其特征在于，所述计算模块，具体用于：

计算文档文本的文本特征向量，其中，通过词嵌入模型，将句子的特征向量根据长度加权平均获得所述特征向量；

使用预训练模型计算文档图片的图片特征向量，并将所述图片特征向量与所述文本特征向量拼接得到文档特征向量；

计算所述文档文本的词频特征向量；

通过所述文档特征向量和词频特征向量分别计算文档之间的相似度，并进行加权计算，得到所述多模态相似度。

8.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：

以所述每个文档为节点，在所述多模态相似度超过所述阈值的文档节点对之间构建边，形成所述无向图结构。

9.根据权利要求6所述的装置，其特征在于，所述聚类模块，具体用于：

应用所述社区发现算法，生成多个主题相同的文档簇；

基于所述文档簇得到所述多个点的集合。

10.根据权利要求9所述的装置，其特征在于，在生成所述多个主题相同的文档簇之后，所述聚类模块，还用于：

对不满足预设条件的边缘的文档簇进行清理。