[发明专利]多模态数据的复合图构建方法、系统、装置及存储介质

说明书

本发明公开一种多模态数据的复合图构建方法、系统、装置及存储介质，涉及计算机技术领域。本申请通过获取社交网络上各种用户数据和资源数据，然后基于信道动态交换机制对资源数据内的不同模态数据之间进行信息交互，从而完善各个模态数据中的信息，通过完善模态数据后的资源数据、用户数据和用户资源间关系构建复合图，使得复合图较为全面地表征了社交网络中用户与社交资源的各种信息，基于复合图在语义分析、情感分析等深度学习任务中更容易趋于收敛，提高各种任务模型的训练效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多模态数据的复合图构建方法、系统、装置及存储介质。

背景技术

随着社交平台功能的日渐完善，社交网络已经成为人们日常生活中的重要组成部分。用户在社交网络上活动的时候，会与网络上的文本、图片、视频等模态产生一系列的交互行为，从而每天都可以产生数以万亿字节的社交数据。这些不同模态的数据不仅在形式、数据量上有所区别，而且数据结构也复杂多样，错综复杂的社交数据加大了对其进行信息整合、提取的难度。

一般情况下，同一资源中模态越多，包含的数据量越大，可以更好地反应资源的真实情况。而社交网络中由于受到网速、资源内容更新、内存不足或者硬件损坏等一些外力因素的影响，在资源使用过程中的模态信息可能会出现丢失的情况，从而造成模态数据不完整，如何在可能存在缺失的模态信息中尽可能整合并提取到有效信息是至关重要的。

相关研究表明，分析社交网络的基础是图论。图数据包含着十分丰富的关系型信息，可以从文本、图片、视频等非结构化数据中进行推理学习。图的构造方式对后续任务分析有着重要的影响，用图结构来表示信息可以实现非结构化数据到结构化数据的转换。从图结构中进行信息提取和信息整合可以使用图神经网络，比如，在语义分析任务中，将图结构中包含的信息输入到图神经网络中进行训练可以更加容易地学习到用户和资源之间的深度语义，从而提高语义分析任务的全面性和准确性。

但目前多数图神经网络模型在图构造时得到的图结构包含的信息是模态缺失的不完整信息，不能较好地挖掘信息的深度抽象语义，给后续任务带来消极影响。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种多模态数据的复合图构建方法、系统、装置及存储介质，构建的复合图较为全面地表征了社交网络中用户与社交资源的各种信息。

一方面，本发明实施例提供了一种多模态数据的复合图构建方法，包括以下步骤：

获取用户数据集、资源数据集、用户资源间关系，其中，所述资源数据集包括多个资源数据，所述资源数据包括多种模态数据；

根据所述用户数据集确定多个用户特征嵌入矩阵；

分别对多种所述模态数据进行处理得到多种第一模态特征嵌入矩阵；

基于信道动态交换机制，根据每一个资源数据的多种所述第一模态特征嵌入矩阵进行模态间信息交互得到多种第二模态特征嵌入矩阵；

根据所述用户特征嵌入矩阵、资源数据的多种所述第二模态特征嵌入矩阵和所述用户资源间关系构建复合图。

根据本发明一些实施例，所述多模态数据的复合图构建方法还包括以下步骤：

根据多个所述用户特征嵌入矩阵确定用户间相似度，并根据所述用户间相似度得到用户间关系；

根据所述用户间关系、用户资源间关系和多种所述第二模态特征嵌入矩阵更新所述用户特征嵌入矩阵；

根据多个所述第二模态特征嵌入矩阵确定资源间相似度，并根据所述资源间相似度得到资源间关系；

根据所述资源间关系和资源数据的多种第二模态特征嵌入矩阵确定资源间的互补信息特征嵌入矩阵；

根据更新后的所述用户特征嵌入矩阵和所述互补信息特征嵌入矩阵构建所述复合图。