[发明专利]提取关键帧的方法及装置

权利要求书

1.一种提取关键帧的方法，其特征在于，包括：

通过神经网络模型为样本视频进行关键帧预测，得到所述样本视频的预测关键帧，并根据所述预测关键帧和为所述样本视频标注的标注关键帧之间的差异计算得到所述样本视频所对应的第一损失；

通过所述神经网络模型为所述样本视频进行内容类型预测，得到所述样本视频的预测类型，并根据所述预测类型和为所述样本视频标注的标注类型之间的差异计算得到所述样本视频所对应的第二损失；

根据所述第一损失和所述第二损失对所述神经网络模型进行训练，得到关键帧提取模型；

获取目标视频；

将所述目标视频作为所述关键帧提取模型的输入，通过所述关键帧提取模型预测得到所述目标视频的关键帧。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失和所述第二损失对所述神经网络模型进行训练，得到关键帧提取模型，包括：

根据所述第一损失和所述第二损失计算得到目标损失；

根据所述目标损失对所述神经网络模型的参数进行调整，直至满足收敛条件得到关键帧提取模型。

3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括卷积神经网络层，所述通过神经网络模型为样本视频进行关键帧预测，得到所述样本视频的预测关键帧，并根据所述预测关键帧和为所述样本视频标注的标注关键帧之间的差异计算得到所述样本视频所对应的第一损失，包括：

通过所述卷积神经网络层对所述样本视频中的视频帧进行特征提取，获得各视频帧的内容特征向量；

根据所述各视频帧的内容特征向量进行关键帧预测，得到所述样本视频的预测关键帧；

根据所述预测关键帧和为所述样本视频标注的标注关键帧计算得到所述第一损失。

4.根据权利要求3所述的方法，其特征在于，所述通过所述卷积神经网络层对所述样本视频中的视频帧进行特征提取，获得各视频帧的内容特征向量之前，所述方法还包括：

对所述样本视频进行分帧，得到所述样本视频的视频帧。

5.根据权利要求3所述的方法，其特征在于，所述神经网络模型还包括双向门控循环层、第一全连接层和第一分类层，所述根据所述各视频帧的内容特征向量进行关键帧预测，得到所述样本视频的预测关键帧，包括：

通过所述双向门控循环层对各视频帧的内容特征向量进行关联特征提取，获得各视频帧的关联特征向量；

通过所述第一全连接层对所述各视频帧的关联特征向量进行变换，获得第一特征向量；

通过所述第一分类层根据所述第一特征向量预测得到所述预测关键帧。

6.根据权利要求5所述的方法，其特征在于，所述通过所述神经网络模型为所述样本视频进行内容类型预测，得到所述样本视频的预测类型，并根据所述预测类型和为所述样本视频标注的标注类型之间的差异计算得到所述样本视频所对应的第二损失，包括：

根据各视频帧的特征向量进行内容类型预测，得到所述样本视频对应的预测类型，所述特征向量包括内容特征向量和关联特征向量中的至少一种；

根据所述预测类型和为所述样本视频标注的标注类型计算得到所述第二损失。

7.根据权利要求6所述的方法，其特征在于，所述神经网络模型还包括第二分类层，所述第二损失包括第一类型损失，所述预测类型包括第一预测类型；

所述根据各视频帧的特征向量进行内容类型预测，得到所述样本视频对应的预测类型，包括：

根据所述各视频帧的内容特征向量计算得到第二特征向量；

通过所述第二分类层根据所述第二特征向量进行内容类型预测，得到所述样本视频对应的第一预测类型；

所述根据所述预测类型和为所述样本视频标注的标注类型计算得到所述第二损失，包括：

根据所述第一预测类型和所述标注类型进行交叉熵计算，得到所述第一类型损失。