[发明专利]一种基于标签约束的多模态主题挖掘方法

说明书

本发明公开了一种基于标签约束的多模态主题挖掘方法，其步骤包括：1.构建多模态文档中数据集合，2.建模文档标签主题分布，3.建模文档中的文本标签主题与视觉标签主题，4.建立基于标签约束的多模态主题模型，5.利用坍塌式吉布斯采样算法进行参数学习。本发明在应对带有标签的关联文本和图像数据时，能快速且精准的学习到多模态主题，从而为推荐和检索等数据挖掘任务提供有利支撑。

技术领域

本发明涉及多模态数据的主题挖掘技术领域，具体涉及一种基于标签约束的多模态主题挖掘方法。

背景技术

数据挖掘任务是一个典型的数据驱动过程，大量的数据对于学习准确的结果具有重要意义。随着互联网技术的快速发展和各种网站平台的广泛普及(例如。例如，Facebook,twitter)，多模式数据的数量正在增加。一些典型的网站，如微博，新浪，淘宝，不仅允许用户上传和分享他们的多模态数据，还允许他们提供相关的语义描述术语。而且，关联的文本和图像不仅具有良好的对应关系，而且易于理解它们的语义内容。对于一些数据挖掘任务，如推荐，图像检索和分类，联合建模的文本和图像与标签是必要的。

近些年来，关于数据挖掘的研究越来越多。例如，文献[Understanding Large-Scale Dynamic Purchase Behavior,2021]从消费者的历史购买数据中，进行主题建模，可以理解消费者的购买行为；文献[Probabilistic Topic Model for Hybrid RecommenderSystems:A Stochastic Variational Bayesian Approach,2018]对产品数据进行主题建模，根据隐主题简明地描述产品，并通过这些主题发现消费者偏好，以此进行推荐系统的设计；文献[Discriminative Sketch Topic Model With Structural Constraint for SARImage Classification,2020]使用主题模型的方法对雷达图像分类；文献[Online Multi-modal multi-expert Learning for Social Event Tracking,2018]使用一种多模态主题模型的方法，对媒体数据进行分析，自动识别事件；文献[Image Tag Refinement byRegularized Latent DirichletAllocation,2014]使用主题模型对标签进行细化，用于完成图像检索的任务。但是，这些方法都不能处理带标签的关联文本和图像数据。此外，通过吉布斯采样算法来学习大规模的数据会导致学习过程缓慢。

发明内容

本发明为了克服现有技术存在的不足之处，提出了一种基于标签约束的多模态主题挖掘方法，以期在应对大规模的多模态数据时，能够快速且准确学习出多模态主题，从而提升数据挖掘速率和准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于标签约束的多模态主题挖掘方法的特点是按如下步骤进行：

步骤1、构建多模态文档的数据集合D；

步骤1.1、构建多模态文档中的文本内容集合，记为其中，表示第m条文本内容中的文本数据，并有w_m,t表示第m条文本内容中的第t个文本词，N_m表示第m条文本内容中的单词数量；M表示多模态文档的数量；

步骤1.2、构建多模态文档中的视觉内容集合，记为其中，表示第m条视觉内容中的图像数据，并有v_m,p表示第m条视觉内容中的第p个视觉词，L_m表示第m条视觉内容中的单词数量；

步骤1.3、构建多模态文档中的标签内容集合，记为Λ＝{Λ₁,Λ₂,...,Λ_m,...,Λ_M}，其中，Λ_m表示第m条多模态文档中的标签内容集合；定义标签空间L为不同标签的数量；l为标签空间中的任一标签序号；