[发明专利]一种多媒体内容分类方法和相关装置

权利要求书

1.一种多媒体内容分类方法，其特征在于，所述方法包括：

获取待分类多媒体内容的第一模态信息和第二模态信息，所述第一模态信息和所述第二模态信息的模态不同；

通过分类模型的特征提取子模型，对所述第一模态信息进行特征提取获得第一模态语义特征，对所述第二模态信息进行特征提取获得第二模态语义特征；

通过所述分类模型的第一特征融合子模型，对所述第一模态语义特征和所述第二模态语义特征进行特征融合，获得第一融合语义特征；

通过所述分类模型的第二特征融合子模型中卷积参数，对所述第一融合语义特征进行卷积融合，获得第二融合语义特征；所述第二特征融合子模型包括第一卷积层和第一池化层，所述第一卷积层包括第一卷积参数，用于对所述第一融合语义特征进行卷积操作；或，所述第二特征融合子模型包括第二卷积层、第三卷积层和第二池化层，所述第二卷积层包括第二卷积参数，用于对所述第一融合语义特征进行卷积操作，所述第三卷积层包括第三卷积参数，用于对所述第一融合语义特征进行卷积操作，所述第二卷积参数和所述第三卷积参数不同；

通过所述分类模型的分类子模型，基于所述第二融合语义特征确定所述待分类多媒体内容的类别。

2.根据权利要求1所述的方法，其特征在于，所述通过所述分类模型的第二特征融合子模型中卷积参数，对所述第一融合语义特征进行卷积融合，获得第二融合语义特征，包括：

通过所述第一卷积层中第一卷积参数，对所述第一融合语义特征进行卷积操作，获得多个第一卷积语义特征；

通过所述第一池化层，对所述多个第一卷积语义特征进行池化操作，获得所述第二融合语义特征。

3.根据权利要求1所述的方法，其特征在于，所述通过所述分类模型的第二特征融合子模型中卷积参数，对所述第一融合语义特征进行卷积融合，获得第二融合语义特征，包括：

通过所述第二卷积层中第二卷积参数，对所述第一融合语义特征进行卷积操作，获得多个第二卷积语义特征；

通过所述第三卷积层中第三卷积参数，对所述第一融合语义特征进行卷积操作，获得多个第三卷积语义特征；

通过所述第二池化层，对所述多个第二卷积语义特征进行池化操作，获得第三融合语义特征，对所述多个第三卷积语义特征进行池化操作，获得第四融合语义特征；

将所述第三融合语义特征和所述第四融合语义特征进行特征拼接，获得所述第二融合语义特征。

4.根据权利要求2或3所述的方法，其特征在于，所述池化操作包括最大池化操作、均值池化操作或随机池化操作。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取待训练多媒体内容的第一模态训练信息、第二模态训练信息和类别标签作为训练样本，所述第一模态训练信息和所述第二模态训练信息的模态不同，所述类别标签用于标识所述待训练多媒体内容的类别；

根据所述训练样本对预设分类模型进行训练，获得所述分类模型；

其中，所述预设分类模型包括所述特征提取子模型、所述第一特征融合子模型、所述第二特征融合子模型和所述分类子模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述训练样本对预设分类模型进行训练，获得所述分类模型，包括：

通过所述特征提取子模型，对所述第一模态训练信息进行特征提取，获得第一模态训练语义特征，对所述第二模态训练信息进行特征提取，获得第二模态训练语义特征；

通过所述第一特征融合子模型，对所述第一模态训练语义特征和所述第二模态训练语义特征进行特征融合，获得第一融合训练语义特征；

通过所述第二特征融合子模型中卷积参数，对所述第一融合语义训练特征进行卷积融合，获得第二融合训练语义特征；

通过所述分类子模型，基于所述第二融合训练语义特征确定所述训练多媒体内容的预测类别；

若所述预测类别与所述类别标签不一致，调整所述预设分类模型的模型参数，将调整好的预设分类模型作为所述分类模型。