[发明专利]多媒体资源的标签分类方法、装置、电子设备及存储介质

权利要求书

1.一种多媒体资源的标签分类方法，其特征在于，所述标签分类方法包括：

获取待处理多媒体资源对应的目标图像和目标文本以及预设标签集合对应的标签特征信息；

将所述目标图像和所述目标文本输入多模态特征提取模型，进行特征提取处理，得到所述待处理多媒体资源的目标图文特征信息；

将所述标签特征信息输入图卷积网络，进行标签特征相关性处理，得到目标标签特征描述信息；

将所述目标图文特征信息和所述目标标签特征描述信息进行特征融合处理，得到目标特征信息；

根据所述目标特征信息，从所述预设标签集合中确定至少一个标签作为所述多媒体资源的标签信息。

2.根据权利要求1所述的标签分类方法，其特征在于，所述多模态特征提取模型包括图像特征提取模块、文本特征提取模块和特征融合模块；所述将所述目标图像和所述目标文本输入多模态特征提取模型，进行特征提取处理，得到所述待处理多媒体资源的目标图文特征信息步骤包括：

将所述目标图像输入所述图像特征提取模块，进行图像特征提取处理，得到目标图像特征信息；

将所述目标文本输入所述文本特征提取模块，进行文本特征提取处理，得到目标文本特征信息；

将所述目标图像特征信息和所述目标文本特征信息输入所述特征融合模块，进行特征融合处理，得到所述目标图文特征信息。

3.根据权利要求2所述的标签分类方法，其特征在于，所述图像特征提取模块包括卷积模块、第一降采样模块、第一全连接层、第二降采样模块和第二全连接层；所述将所述目标图像输入所述图像特征提取模块，进行图像特征提取处理，得到目标图像特征信息步骤包括：

将所述目标图像输入所述卷积模块，进行特征提取处理，得到初始图像特征信息；

将所述初始图像特征信息输入所述第一降采样模块，进行降采样处理，得到第一尺度的第一图像特征信息；

将所述第一图像特征信息输入所述第二降采样模块，进行降采样处理，得到第二尺度的第二图像特征信息；

将所述第一图像特征信息输入所述第一全连接层，进行特征长度调整处理，得到预设长度的第三图像特征信息；

将所述第二图像特征信息输入所述第二全连接层，进行特征长度调整处理，得到预设长度的第四图像特征信息；

将所述第三图像特征信息和所述第四图像特征信息作为所述目标图像特征信息。

4.根据权利要求3所述的标签分类方法，其特征在于，所述文本特征提取模块包括第一文本特征提取单元、第三全连接层、第二文本特征提取单元和第四全连接层；所述将所述目标文本输入所述文本特征提取模块，进行文本特征提取处理，得到目标文本特征信息步骤包括：

将所述目标文本输入所述第一文本特征提取单元，进行文本特征提取处理，得到第一文本特征信息；

将所述第一文本特征信息输入所述第二文本特征提取单元，进行文本特征提取处理，得到第二文本特征信息；

将所述第一文本特征信息输入所述第三全连接层，进行特征长度调整处理，得到预设长度的第三文本特征信息；

将所述第二文本特征信息输入所述第四全连接层，进行特征长度调整处理，得到预设长度的第四文本特征信息；

将所述第三文本特征信息和所述第四文本特征信息作为所述目标文本特征信息。

5.根据权利要求4所述的标签分类方法，其特征在于，所述特征融合模块包括第一特征融合模块和第二特征融合模块；所述将所述目标图像特征信息和所述目标文本特征信息输入所述特征融合模块，进行特征融合处理，得到所述目标图文特征信息步骤包括：

将所述第三图像特征信息和所述第三文本特征信息输入所述第一特征融合模块，进行图文特征融合处理，得到第一图文特征信息；

将所述第四图像特征信息、所述第四文本特征信息和所述第一图文特征信息输入所述第二特征融合模块，进行图文特征融合处理，得到所述目标图文特征信息。