[发明专利]一种多媒体内容分类方法和相关装置

说明书

本申请实施例公开了一种多媒体内容分类方法和相关装置，涉及人工智能中的自然语言处理和机器学习，获取待分类多媒体内容的、不同模态的第一模态信息和第二模态信息；将其输入分类模型的特征提取子模型，输出第一模态语义特征和第二模态语义特征；将其输入分类模型的第一特征融合子模型，特征融合输出第一融合语义特征。将其输入分类模型的第二特征融合子模型，通过卷积参数进一步对第一融合语义特征进行卷积融合，输出第二融合语义特征；引入卷积参数进行卷积融合，提高特征融合的交互复杂度，使得不同模态语义特征交互性更好；分类模型的分类子模型以第二融合语义特征确定待分类多媒体内容的类别，使得待分类多媒体内容的分类更准确。

技术领域

本申请涉及数据处理领域，特别是涉及一种多媒体内容分类方法和相关装置。

背景技术

随着科技的快速发展，在多媒体内容的搜索、推荐等场景中，多媒体内容的分类十分重要。其中，多媒体内容一般包括文本信息、图像信息、语音信息中至少两种模态信息。

目前，通常是以多媒体内容的不同模态信息为输入，在提取不同模态信息对应的不同模态语义特征后，采用特征拼接或哈达玛乘积等方式对不同模态语义特征进行特征融合，得到融合语义特征对多媒体内容进行分类。

但是，上述特征拼接和哈达玛乘积等方式较为简单，导致该方式得到的融合语义特征所表征的不同模态语义特征交互性较差，从而导致该融合语义特征用于分类不够准确。

发明内容

为了解决上述技术问题，本申请提供了一种多媒体内容分类方法和相关装置，能够实现不同模态语义特征的深度特征融合，以有效加强不同模态语义特征进行特征融合的交互，从而提高多媒体内容的分类准确性。

本申请实施例公开了如下技术方案：

一方面，本申请提供一种多媒体内容分类方法，所述方法包括：

获取待分类多媒体内容的第一模态信息和第二模态信息，所述第一模态信息和所述第二模态信息的模态不同；

通过分类模型的特征提取子模型，对所述第一模态信息进行特征提取获得第一模态语义特征，对所述第二模态信息进行特征提取获得第二模态语义特征；

通过所述分类模型的第一特征融合子模型，对所述第一模态语义特征和所述第二模态语义特征进行特征融合，获得第一融合语义特征；

通过所述分类模型的第二特征融合子模型中卷积参数，对所述第一融合语义特征进行卷积融合，获得第二融合语义特征；

通过所述分类模型的分类子模型，基于所述第二融合语义特征确定所述待分类多媒体内容的类别。

另一方面，本申请提供一种多媒体内容分类装置，所述装置包括：获取单元、获得单元和确定单元；

所述获取单元，用于获取待分类多媒体内容的第一模态信息和第二模态信息，所述第一模态信息和所述第二模态信息的模态不同；

所述获得单元，用于通过分类模型的特征提取子模型，对所述第一模态信息进行特征提取获得第一模态语义特征，对所述第二模态信息进行特征提取获得第二模态语义特征；

所述获得单元，还用于通过所述分类模型的第一特征融合子模型，对所述第一模态语义特征和所述第二模态语义特征进行特征融合，获得第一融合语义特征；

所述获得单元，还用于通过所述分类模型的第二特征融合子模型中卷积参数，对所述第一融合语义特征进行卷积融合，获得第二融合语义特征；

所述确定单元，用于通过所述分类模型的分类子模型，基于所述第二融合语义特征确定所述待分类多媒体内容的类别。

另一方面，本申请提供一种用于多媒体内容分类的设备，所述设备包括处理器以及存储器：