[发明专利]时域动作检测方法和系统、电子设备、计算机存储介质

说明书

本发明实施例公开了一种时域动作检测方法和系统、电子设备、计算机存储介质，其中，方法包括：获取视频中存在动作实例的时域区间以及所述时域区间的至少一相邻片段；分别提取候选片段中各视频片段的动作特征，其中，所述候选片段包括所述时域区间对应的视频片段及其相邻片段；对所述候选片段中各视频片段的动作特征进行池化处理，获得所述时域区间对应的视频片段的全局特征；基于所述全局特征确定所述时域区间对应的视频片段的动作完整度得分。本发明实施例有益于准确的确定时域区间是否包含完整的动作实例，提高了动作完整度识别的准确率。

技术领域

本发明涉及计算机视觉技术，尤其是一种时域动作检测方法和系统、电子设备、计算机存储介质。

背景技术

理解人的行为和动作是计算机视觉技术的一项重要任务。现有计算机视觉技术中的动作识别技术，通过用深度学习的方法来融合形状信息、运动特征、以及长程时序关系等视频内容，已经能够识别剪辑出的视频中的动作类别，但是需要预先对原始视频进行手工剪辑，截取出原始视频中有动作的片段，手工剪辑视频需要耗费大量的人力，成本较高；并且，在实际应用场景中，经常需要及时对未经剪辑的原始视频进行动作类别识别，这就要求动作识别技术不再局限于从剪辑好的视频片段中识别动作的类别，还需要能够在未经剪辑的原始视频中自动探测到有意义的动作、检测出每个动作实例的开始时间和结束时间。

时域动作检测技术，旨在视频中检测出与人物活动相关的动作片段，该视频可以是任何方式的视频，例如可能但不限于是未经剪辑、较长的视频。时域动作检测技术在安全监控、网络视频分析、视频直播分析、乃至无人驾驶等领域都具有巨大的应用价值。

发明内容

本发明实施例提供一种时域动作检测技术，包括时域动作检测方法和系统、电子设备、计算机存储介质。

根据本发明实施例的一个方面，提供的一种时域动作检测方法，包括：

获取视频中存在动作实例的时域区间以及所述时域区间的至少一相邻片段；

分别提取候选片段中各视频片段的动作特征，其中，所述候选片段包括所述时域区间对应的视频片段及其相邻片段；

对所述候选片段中各视频片段的动作特征进行池化处理，获得所述时域区间对应的视频片段的全局特征；

基于所述全局特征确定所述时域区间对应的视频片段的动作完整度得分。

可选地，在上述方法的另一实施例中，所述至少一相邻片段包括：所述视频中时序位于所述时域区间之前的第一相邻片段，和/或，所述视频中时序位于所述时域区间之后的第二相邻片段；所述第一相邻片段和所述第二相邻片段分别包括至少一个视频片段。

可选地，在上述方法的另一实施例中，所述获取视频中存在动作实例的时域区间以及所述时域区间的至少一相邻片段，包括：

分别对所述视频中的各视频片段进行动作度估计，获得时序动作度序列；

基于所述时序动作度序列进行动作位置预测，获得所述视频中存在动作实例的时域区间，所述时域区间包括起始时间和结束时间；

从所述视频中提取所述时域区间之前的第一相邻片段和/或所述时域区间之后的第二相邻片段。

可选地，在上述方法的另一实施例中，所述分别对所述视频中的各视频片段进行动作度估计，获得时序动作度序列，包括：

分别针对所述视频中的任一视频片段：

提取一帧图像作为原始图像，对所述原始图像进行动作度估计，得到第一动作度值；提取所述任一视频片段的光流，并对获得的光流场图片进行合并，得到拼合光流场图像，对所述拼合光流场图像进行动作度估计，得到第二动作度值；

由第一动作度值与第二动作度值，获取所述任一视频片段的动作度值；