[发明专利]多媒体资源的标签分类方法、装置、电子设备及存储介质

说明书

本公开关于一种多媒体资源的标签分类方法、装置、电子设备及存储介质。标签分类方法包括：获取待处理多媒体资源对应的目标图像和目标文本以及预设标签集合对应的标签特征信息；将目标图像和目标文本输入多模态特征提取模型，进行特征提取处理，得到所述待处理多媒体资源的目标图文特征信息；将标签特征信息输入图卷积网络，进行标签特征相关性处理，得到目标标签特征描述信息；将所述目标图文特征信息和所述目标标签特征描述信息进行特征融合处理，得到目标特征信息；根据所述目标特征信息，从预设标签集合中确定至少一个标签作为所述多媒体资源的标签信息。根据本公开提供的技术方案，可以提高多媒体资源标签分类的精确度。

技术领域

本公开涉及视觉技术领域，尤其涉及一种多媒体资源的标签分类方法、装置、电子设备及存储介质。

背景技术

标签分类是深度学习以及数据推荐业务的基础，相关技术中，一般基于数据的单模态特征进行标签分类，且用于标签分类的标签集合中的标签之间采用单一的树形结构。而面对多媒体数据时，由于多媒体数据包含图像、文本、声音等多模态特征，导致现有基于单模态的标签分类方式不能适用于多模态特征的数据；另外，多媒体数据的内容较为丰富，一般具有多个标签，相关技术中的树形结构的标签在对多媒体数据进行标签分类时，标签分类的精确度欠佳。

发明内容

本公开提供一种多媒体资源的标签分类方法、装置、电子设备及存储介质，以至少解决相关技术中如何提高多媒体资源的标签分类精度的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种多媒体资源的标签分类方法，包括：

获取待处理多媒体资源对应的目标图像和目标文本以及预设标签集合对应的标签特征信息；

将所述目标图像和所述目标文本输入多模态特征提取模型，进行特征提取处理，得到所述待处理多媒体资源的目标图文特征信息；

将所述标签特征信息输入图卷积网络，进行标签特征相关性处理，得到目标标签特征描述信息；

将所述目标图文特征信息和所述目标标签特征描述信息进行特征融合处理，得到目标特征信息；

根据所述目标特征信息，从所述预设标签集合中确定至少一个标签作为所述多媒体资源的标签信息。

在一种可能的实现方式中，所述多模态特征提取模型包括图像特征提取模块、文本特征提取模块和特征融合模块；所述将所述目标图像和所述目标文本输入多模态特征提取模型，进行特征提取处理，得到所述待处理多媒体资源的目标图文特征信息步骤包括：

将所述目标图像输入所述图像特征提取模块，进行图像特征提取处理，得到目标图像特征信息；

将所述目标文本输入所述文本特征提取模块，进行文本特征提取处理，得到目标文本特征信息；

将所述目标图像特征信息和所述目标文本特征信息输入所述特征融合模块，进行特征融合处理，得到所述目标图文特征信息。

在一种可能的实现方式中，所述图像特征提取模块包括卷积模块、第一降采样模块、第一全连接层、第二降采样模块和第二全连接层；所述将所述目标图像输入所述图像特征提取模块，进行图像特征提取处理，得到目标图像特征信息步骤包括：

将所述目标图像输入所述卷积模块，进行特征提取处理，得到初始图像特征信息；

将所述初始图像特征信息输入所述第一降采样模块，进行降采样处理，得到第一尺度的第一图像特征信息；

将所述第一图像特征信息输入所述第二降采样模块，进行降采样处理，得到第二尺度的第二图像特征信息；

将所述第一图像特征信息输入所述第一全连接层，进行特征长度调整处理，得到预设长度的第三图像特征信息；