[发明专利]一种动作片段检测方法、装置、设备及介质有效
申请号: | 202010542499.4 | 申请日: | 2020-06-15 |
公开(公告)号: | CN111723243B | 公开(公告)日: | 2022-06-07 |
发明(设计)人: | 余程鹏;王博;左凯 | 申请(专利权)人: | 南京领行科技股份有限公司 |
主分类号: | G06F16/783 | 分类号: | G06F16/783;G06V20/40 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 杨晓萍 |
地址: | 211100 江苏省南京市江宁区苏源大*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 动作 片段 检测 方法 装置 设备 介质 | ||
1.一种动作片段检测方法,其特征在于,包括:
对待检测视频进行特征提取,得到第一特征序列,其中,所述第一特征序列至少包含所述待检测视频对应的各个视频帧序列的特征数据;
基于所述第一特征序列,并利用时序评估模型,获得所述各个视频帧序列的时序信息,其中,时序信息至少包含视频帧序列属于动作片段开始的开始概率以及属于动作片段结束的结束概率;
基于所述各个视频帧序列的时序信息,对所述各个视频帧序列进行重组,得到视频片段集合;
对所述视频片段集合包含的各个视频片段分别进行特征采样,得到第二特征序列,其中,所述第二特征序列至少包含所述各个视频片段的特征数据;
基于所述第二特征序列,并利用置信度评估模型,获得所述视频片段集合包含的各个视频片段的置信度,其中,置信度表征视频片段中包含动作片段的概率;
从所述视频片段集合包含的各个视频片段中,选取对应的置信度符合置信度条件的视频片段作为目标动作片段。
2.如权利要求1所述的动作片段检测方法,其特征在于,对待检测视频进行特征提取,得到第一特征序列,包括:
利用双流网络TSN,按照设定视频帧间隔,对所述待检测视频进行红绿蓝RGB特征提取和光流特征提取,得到各个视频帧序列的RGB特征数据和光流特征数据;
分别对所述各个视频帧序列的RGB特征数据和光流特征数据进行拼接处理,得到所述各个视频帧序列的特征数据,并基于所述各个视频帧序列的特征数据,得到所述第一特征序列。
3.如权利要求1所述的动作片段检测方法,其特征在于,所述时序信息还包含所述视频帧序列属于动作片段中间的中间概率。
4.如权利要求1-3任一项所述的动作片段检测方法,其特征在于,基于所述各个视频帧序列的时序信息,对所述各个视频帧序列进行重组,得到视频片段集合,包括:
从所述各个视频帧序列的时序信息中,选取满足设定条件的开始概率组成开始概率集合,以及选取满足所述设定条件的结束概率组成结束概率集合;
将所述开始概率集合包含的每一个开始概率对应的视频帧序列,分别与所述结束概率集合包含的每一个结束概率对应的视频帧序列进行组合,得到各个视频片段;
基于所述各个视频片段,得到所述视频片段集合。
5.如权利要求4所述的动作片段检测方法,其特征在于,从所述各个视频帧序列的时序信息中,选取满足设定条件的开始概率组成开始概率集合,以及选取满足所述设定条件的结束概率组成结束概率集合,包括:
从所述各个视频帧序列的时序信息中,选取不小于设定阈值的开始概率和属于峰值的开始概率组成所述开始概率集合;以及,
从所述各个视频帧序列的时序信息中,选取不小于设定阈值的结束概率和属于峰值的结束概率组成所述结束概率集合。
6.如权利要求4所述的动作片段检测方法,其特征在于,基于所述各个视频片段,得到所述视频片段集合,包括:
从所述各个视频片段中,选取开始概率对应的视频帧序列在所述待检测视频中的时间位置,小于结束概率对应的视频帧序列在所述待检测视频中的时间位置的视频片段组成所述视频片段集合。
7.如权利要求1所述的动作片段检测方法,其特征在于,对所述视频片段集合包含的各个视频片段分别进行特征采样,得到第二特征序列,包括:
采用线性插值方法,从所述视频片段集合包含的各个视频片段中分别采取设定数目的特征值,得到所述视频片段集合包含的各个视频片段的特征数据;
基于所述视频片段集合包含的各个视频片段的特征数据,得到所述第二特征序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京领行科技股份有限公司,未经南京领行科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010542499.4/1.html,转载请声明来源钻瓜专利网。