[发明专利]视频分类的方法、装置及存储介质

权利要求书

1.一种视频分类的方法，其特征在于，所述方法包括：

获取待分类视频包含的至少两个视频帧图像，以及所述待分类视频对应的文本信息；

分别确定所述至少两个视频帧图像各自对应的图像特征信息，以及所述文本信息对应的文本特征信息；

将确定的各个图像特征信息，分别与所述文本特征信息进行融合处理，获得相应的融合特征信息，并将各个融合特征信息进行映射操作，确定目标特征信息；

基于所述目标特征信息，确定所述待分类视频对应的视频标签。

2.如权利要求1所述的方法，其特征在于，所述获取待分类视频包含的至少两个视频帧图像，包括：

对所述待分类视频进行划分处理，获得多个子视频；

在所述多个子视频中，基于各个子视频对应的重要度，筛选出符合重要度条件的至少两个目标子视频；其中，所述重要度是：基于相应的子视频中，包含的各个视频帧图像属于关键信息的目标概率值确定的；

分别在所述至少两个目标子视频中，基于所述目标概率值，选取至少一个视频帧图像。

3.如权利要求1所述的方法，其特征在于，获取所述待分类视频对应的文本信息，包括以下操作中的至少一种：

获取所述待分类视频的标题信息，将所述标题信息作为所述文本信息；

获取所述待分类视频的视频帧图像中包含的文字内容，将所述文字内容作为所述文本信息；

获取所述待分类视频的音频信息，将所述音频信息转换为文本信息。

4.如权利要求1所述的方法，其特征在于，所述分别确定所述至少两个视频帧图像各自对应的图像特征信息，包括：

将所述至少两个视频帧图像，分别输入已训练的视频分类模型的深度残差子模型中，获得各自对应的图像特征信息；

确定所述文本信息对应的文本特征信息，包括：

将所述文本信息，输入已训练的视频分类模型的预训练语言子模型中，获得所述文本信息对应的文本特征信息。

5.如权利要求1所述的方法，其特征在于，所述将确定的各个图像特征信息，分别与所述文本特征信息进行融合处理，获得相应的融合特征信息，并将各个融合特征信息进行映射操作，确定目标特征信息，包括：

针对所述各个图像特征信息，分别执行如下操作：

将一个图像特征信息进行线性变换，获得目标图像特征向量；

将所述目标图像特征向量与目标文本特征向量进行拼接，获得所述融合特征信息，其中，所述目标文本特征向量是，所述文本特征信息进行线性变换获得的，且所述目标文本特征向量与所述目标图像特征向量维度相同；

将获得的各个融合特征信息，进行非线性激活变换的映射操作，确定目标特征信息。

6.如权利要求1所述的方法，其特征在于，所述基于所述目标特征信息，确定所述待分类视频对应的视频标签，包括：

将所述目标特征信息，输入所述已训练的视频分类模型的分类子模型；

基于所述分类子模型，将所述目标特征信息映射到各个标签中，分别确定所述目标特征信息与所述各个标签之间的匹配概率值；

基于所述匹配概率值，确定所述待分类视频对应的视频标签。

7.如权利要求4-6任一所述的方法，其特征在于，所述已训练的视频分类模型是通过如下方式训练得到的：

根据训练样本数据集中的训练样本，对待训练的视频分类模型执行循环迭代训练，并在满足收敛条件时，输出训练完毕的视频分类模型，其中，在一次循环迭代训练过程中执行以下操作：

从所述训练样本数据集中选取训练样本；其中，所述训练样本为：历史视频包含的至少两个历史视频帧图像，以及对应的历史文本信息，所述历史视频标注有历史视频标签；

将所述训练样本输入所述视频分类模型，预测所述训练样本与所述各个标签之间的匹配概率值，基于所述历史视频标签和预测的各个所述匹配概率值构建损失函数，并基于所述损失函数，对所述视频分类模型进行参数调整。