[发明专利]动作片段检测方法、模型训练方法及装置

权利要求书

1.一种动作片段检测方法，其特征在于，所述方法包括：

获取待检测视频的视频特征和所述待检测视频中所有候选视频段的视频段特征图；

将所述视频特征和所述视频段特征图输入动作检测模型，利用所述动作检测模型进行多尺度特征提取，得到所有候选视频段的融合特征图；

利用所述动作检测模型对所述融合特征图进行预测，得到每个所述候选视频段的预测结果；

根据每个所述候选视频段的预测结果，从所有候选视频段中确定动作片段；

所述动作检测模型包括多个多尺度动态网络；

所述将所述视频特征和所述视频段特征图输入动作检测模型，利用所述动作检测模型进行多尺度特征提取，得到所有候选视频段的融合特征图的步骤，包括：

将所述视频特征和所述视频段特征图输入第一个所述多尺度动态网络进行多尺度特征提取，得到所有候选视频段的初步特征图；

将所述视频特征和第N-1个所述多尺度动态网络的输出作为第N个所述多尺度动态网络的输入，利用所述多尺度动态网络进行多尺度特征提取；

将最后一个所述多尺度动态网络的输出作为所述融合特征图。

2.如权利要求1所述的方法，其特征在于，所述多尺度动态网络包括多个多尺度动态单元；

所述将所述视频特征和所述视频段特征图输入第一个所述多尺度动态网络进行多尺度特征提取，得到所有候选视频段的初步特征图的步骤，包括：

将所述视频特征和所述视频段特征图输入每个所述多尺度动态单元；

利用多尺度动态单元从目标尺度进行特征提取，得到目标尺度的特征表达，其中，一个多尺度动态单元对应一个尺度；

获得所述多个多尺度动态单元输出的多个尺度的特征表达；

将所述多个尺度的特征表达进行聚合，得到所有候选视频段的特征信息；

对所述特征信息进行1×1卷积操作后，与所述视频段特征图进行叠加，得到所述初步特征图。

3.如权利要求2所述的方法，其特征在于，所述利用多尺度动态单元从目标尺度进行特征提取，得到目标尺度的特征表达的步骤，包括：

对所述视频段特征图进行滑窗操作，得到取样特征图；

对所述视频特征进行平均池化，得到所述待检测视频的全局特征；

利用1×1卷积对所述全局特征进行卷积操作以减少通道数，得到所述待检测视频的全局信息；

将所述全局信息和所述视频段特征图进行融合，得到中间特征图；

利用所述中间特征图生成每个候选视频段的动态卷积核；

利用所述动态卷积核对所述取样特征图进行卷积操作，得到目标尺度的特征表达。

4.如权利要求1所述的方法，其特征在于，所述动作检测模型还包括卷积层；

所述利用所述动作检测模型对所述融合特征图进行预测，得到每个所述候选视频段的预测结果的步骤，包括：

利用所述卷积层对所述融合特征图进行卷积操作，得到每个所述候选视频段的预测结果。

5.如权利要求1所述的方法，其特征在于，所述候选视频段是对所述待检测视频进行枚举得到的，所述候选视频段包括开始时间和结束时间；

所述根据每个所述候选视频段的预测结果，从所有候选视频段中确定动作片段的步骤，包括：

根据每个所述候选视频段的预测结果，计算每个所述候选视频段的评判分数；

根据每个所述候选视频段的评判分数，获得包含动作的候选视频段；

对包含动作的候选视频段进行分类，得到包含动作的候选视频段的动作类别；

获得所述动作片段，其中，所述动作片段包括包含动作的候选视频段的开始时间、结束时间及动作类别。