[发明专利]动作片段检测方法、模型训练方法及装置

说明书

本申请实施例涉及计算机视觉技术领域，提供一种动作片段检测方法、模型训练方法及装置，针对待检测视频，枚举待检测视频中所有的候选视频段，并获取待检测视频的视频特征和所有候选视频段的视频段特征图；然后，将视频特征和视频段特征图输入预先训练的动作检测模型，利用动作检测模型进行多尺度特征提取及预测，得到每个候选视频段的预测结果；最后，根据每个候选视频段的预测结果，从所有候选视频段中确定出动作片段，从而能够从长视频中自动剪辑出动作片段。

技术领域

本申请实施例涉及计算机视觉技术领域，具体而言，涉及一种动作片段检测方法、模型训练方法及装置。

背景技术

随着存储技术的飞速发展，视频已经成为当下最流行的信息传播载体。然而，对于大部分视频来说，人们往往更加关注的是视频中包含动作的片段，因此，需要人们从原始的长视频中手动剪辑出感兴趣的视频片段，这一过程非常耗费精力。因此，利用技术手段从长视频中自动剪辑出动作片段是非常有必要的。

发明内容

本申请实施例的目的在于提供一种动作片段检测方法、模型训练方法及装置，能够从长视频中自动剪辑出动作片段。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种动作片段检测方法，所述方法包括：

获取待检测视频的视频特征和所述待检测视频中所有候选视频段的视频段特征图；

将所述视频特征和所述视频段特征图输入动作检测模型，利用所述动作检测模型进行多尺度特征提取，得到所有候选视频段的融合特征图；

利用所述动作检测模型对所述融合特征图进行预测，得到每个所述候选视频段的预测结果；

根据每个所述候选视频段的预测结果，从所有候选视频段中确定动作片段。

第二方面，本申请实施例还提供了一种模型训练方法，所述方法包括：

获取训练样本及所述训练样本对应的标签，所述标签表征所述训练样本中的各个动作片段；

对所述训练样本进行预处理，得到所述训练样本的视频特征和所述训练样本中所有候选视频段的视频段特征图；

将所述视频特征和所述视频段特征图输入动作检测模型，利用所述动作检测模型进行多尺度特征提取，得到所有候选视频段的融合特征图；

利用所述动作检测模型对所述融合特征图进行预测，得到每个所述候选视频段的预测结果；

基于每个所述候选视频段的预测结果、所述标签和预设的损失函数对所述动作检测模型进行反向传播训练，得到训练后的动作检测模型。

第三方面，本申请实施例还提供了一种动作片段检测装置，所述装置包括：

第一获取模块，用于获取待检测视频的视频特征和所述待检测视频中所有候选视频段的视频段特征图；

第一处理模块，用于将所述视频特征和所述视频段特征图输入动作检测模型，利用所述动作检测模型进行多尺度特征提取，得到所有候选视频段的融合特征图；

第一预测模块，用于利用所述动作检测模型对所述融合特征图进行预测，得到每个所述候选视频段的预测结果；

动作片段确定模块，用于根据每个所述候选视频段的预测结果，从所有候选视频段中确定动作片段。

第四方面，本申请实施例还提供了一种模型训练装置，所述装置包括：

第二获取模块，用于获取训练样本及所述训练样本对应的标签，所述标签表征所述训练样本中的各个动作片段；