[发明专利]多模态数据的复合图构建方法、系统、装置及存储介质

权利要求书

1.一种多模态数据的复合图构建方法，其特征在于，包括以下步骤：

获取用户数据集、资源数据集、用户资源间关系，其中，所述资源数据集包括多个资源数据，所述资源数据包括多种模态数据；

根据所述用户数据集确定多个用户特征嵌入矩阵；

分别对多种所述模态数据进行处理得到多种第一模态特征嵌入矩阵；

基于信道动态交换机制，根据每一个资源数据的多种所述第一模态特征嵌入矩阵进行模态间信息交互得到多种第二模态特征嵌入矩阵；

根据所述用户特征嵌入矩阵、资源数据的多种所述第二模态特征嵌入矩阵和所述用户资源间关系构建复合图。

2.根据权利要求1所述的多模态数据的复合图构建方法，其特征在于，所述多模态数据的复合图构建方法还包括以下步骤：

根据多个所述用户特征嵌入矩阵确定用户间相似度，并根据所述用户间相似度得到用户间关系；

根据所述用户间关系、用户资源间关系和多种所述第二模态特征嵌入矩阵更新所述用户特征嵌入矩阵；

根据多个所述第二模态特征嵌入矩阵确定资源间相似度，并根据所述资源间相似度得到资源间关系；

根据所述资源间关系和资源数据的多种第二模态特征嵌入矩阵确定资源间的互补信息特征嵌入矩阵；

根据更新后的所述用户特征嵌入矩阵和所述互补信息特征嵌入矩阵构建所述复合图。

3.根据权利要求2所述的多模态数据的复合图构建方法，其特征在于，所述根据所述用户数据集确定多个用户特征嵌入矩阵包括以下步骤：

根据信息度量函数对所述用户数据集进行粒化处理得到信息粒集合，其中，所述信息粒集合包括多个用户信息粒；

对所述信息粒集合融入多头注意力机制和公共常识知识库机制进行抽象特征表示，得到所述用户特征嵌入矩阵。

4.根据权利要求3所述的多模态数据的复合图构建方法，其特征在于，所述分别对多种所述模态数据进行处理得到多种第一模态特征嵌入矩阵包括以下步骤：

对于文本模态数据，使用Text-Transformer编码器与公共常识知识库融合机制进行特征表示，得到文本模态数据的第一模态特征嵌入矩阵，其中，将所述文本模态数据表示为词嵌入序列，在所述词嵌入中融入绝对位置信息，根据绝对位置信息对所述词嵌入融入对应绝对位置信息的第一公知常识知识库特征嵌入矩阵，根据所述绝对位置信息和词嵌入间的相对距离在所述词嵌入中融入相对位置信息，得到文本模态数据的第一模态特征嵌入矩阵；

对于图像模态数据，使用CNN+Visual-Transformer编码器与公共常识知识库融合机制进行特征表示，得到图像模态数据的第一模态特征嵌入矩阵，其中，将所述图像模态数据进行卷积池化操作得到多个第一图像特征嵌入矩阵，在每个第一图像特征嵌入矩阵中融入位置编码和第二公知常识知识库特征嵌入矩阵得到第二图像特征嵌入矩阵，将所述第二图像特征嵌入矩阵输入基于多头注意力机制的Visual-Transformer编码器进行编码得到图像模态数据的第一模态特征嵌入矩阵；

对于视频模态数据，使用Video-Transformer编码器与公共常识知识库融合机制进行特征表示，得到视频模态数据的第一模态特征嵌入矩阵，其中，将所述视频模态数据输入基于标准的多头自注意力机制的第一层编码器进行编码得到视频特征嵌入矩阵，将所述视频特征嵌入矩阵输入基于带有局部感应偏置块的多头注意力机制第二层编码器进行编码得到视频模态数据的第一模态特征嵌入矩阵，所述基于带有局部感应偏置块的多头注意力机制通过局部感应偏置块位置信息和第二公知常识知识库特征嵌入矩阵确定。

5.根据权利要求4所述的多模态数据的复合图构建方法，其特征在于，所述基于信道动态交换机制，根据每一个资源数据的多种所述第一模态特征嵌入矩阵进行模态间信息交互得到多种第二模态特征嵌入矩阵包括以下步骤：

将每个所述第一模态特征嵌入矩阵中不同位置的数值分配为不同的信道；

根据每个所述第一模态特征嵌入矩阵内信道中数值对模态融合结果的权重值进行信道交换得到第二模态特征嵌入矩阵，其中，若当前第一模态特征嵌入矩阵内存在所述权重值小于融合阈值的数值，则将所述数值对应的信道确定为待映射信道，采用其他第一模态特征嵌入矩阵中与所述待映射信道位置相同的信道的平均值代入所述待映射信道中。