[发明专利]一种动作片段检测方法、装置、设备及介质

说明书

本申请公开了一种动作片段检测方法、装置、设备及介质，应用于视频处理技术领域，用以解决现有技术的动作片段检测方法存在准确度低、覆盖率差的问题。具体为：利用时序评估模型，获得待检测视频中各个视频帧序列的时序信息，并利用各个视频帧序列的时序信息，对各个视频帧序列进行重组，从而实现对待检测视频中视频片段的全局检索，进而利用置信度评估模型，获得各个视频片段的置信度后，从各个视频片段中，选取对应的置信度符合置信度条件的视频片段作为目标动作片段，从而使得从各个视频片段中选取出的目标动作片段，不仅可以覆盖待检测视频中的所有动作片段，而且，目标动作片段的起始时间和结束时间的误差较小、准确度较高。

技术领域

本申请涉及视频处理技术领域，尤其涉及一种动作片段检测方法、装置、设备及介质。

背景技术

视频内容分析是当前人工智能(Artificial Intelligence，AI)领域比较热门的研究课题，尤其是随着数码相机、摄像头等监控设备的逐渐增多，以及视频客户端、直播客户端等应用的日渐普及，产生了大量的视频，急需一种智能的视频内容分析方法，对产生的视频进行分析。

目前，视频分析的一个主要分支是动作识别，旨在从视频中提取出包含动作实例的视频片段，但是，实际场景下，视频中通常夹杂很多与动作实例无关的内容，如何从视频中精准且全面地提取出动作片段是当前视频处理技术领域需要考虑的问题。

发明内容

本申请实施例提供了一种动作片段检测方法、装置、设备及介质，用以解决现有技术在从视频中提取动作片段时存在动作片段的准确度较低、覆盖不全面的问题。

本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种动作片段检测方法，包括：

对待检测视频进行特征提取，得到第一特征序列，其中，第一特征序列至少包含待检测视频对应的各个视频帧序列的特征数据；

基于第一特征序列，并利用时序评估模型，获得各个视频帧序列的时序信息，其中，时序信息至少包含视频帧序列属于动作片段开始的开始概率以及属于动作片段结束的结束概率；

基于各个视频帧序列的时序信息，对各个视频帧序列进行重组，得到视频片段集合；

对视频片段集合包含的各个视频片段分别进行特征采样，得到第二特征序列，其中，第二特征序列至少包含各个视频片段的特征数据；

基于第二特征序列，并利用置信度评估模型，获得视频片段集合包含的各个视频片段的置信度，其中，置信度表征视频片段中包含动作片段的概率；

从视频片段集合包含的各个视频片段中，选取对应的置信度符合置信度条件的视频片段作为目标动作片段。

在一种可能的实施方式中，对待检测视频进行特征提取，得到第一特征序列，包括：

利用双流网络(Two Stream Networks，TSN)，按照设定视频帧间隔，对待检测视频进行红绿蓝(Red Green Blue，RGB)特征提取和光流特征提取，得到各个视频帧序列的RGB特征数据和光流特征数据；

分别对各个视频帧序列的RGB特征数据和光流特征数据进行拼接处理，得到各个视频帧序列的特征数据，并基于各个视频帧序列的特征数据，得到第一特征序列。

在一种可能的实施方式中，时序信息还包含视频帧序列属于动作片段中间的中间概率。

在一种可能的实施方式中，基于各个视频帧序列的时序信息，对各个视频帧序列进行重组，得到视频片段集合，包括：

从各个视频帧序列的时序信息中，选取满足设定条件的开始概率组成开始概率集合，以及选取满足设定条件的结束概率组成结束概率集合；