[发明专利]一种视频片段处理方法、装置及计算机可读存储介质有效
申请号: | 201910126988.9 | 申请日: | 2019-02-20 |
公开(公告)号: | CN109948446B | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 王影影 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 片段 处理 方法 装置 计算机 可读 存储 介质 | ||
1.一种视频片段处理方法,其特征在于,所述方法包括:
提取视频样本的视频特征,及所述视频特征对应的视频时间序列;
根据所述视频特征和预设的行为片段生成模型,生成目标视频片段,所述目标视频片段包括片段时间序列;
根据所述片段时间序列和所述视频时间序列的匹配,从所述视频特征中确定与所述目标视频片段对应的目标视频特征;
将所述目标视频特征输入预设的行为类别分类器,得到所述目标视频片段中动作行为的分类类别;
所述根据所述视频特征和预设的行为片段生成模型,生成目标视频片段,包括:
在所述视频样本中确定多个时间点;
将所述视频特征输入所述行为片段生成模型,输出所述视频样本的时间点属于起始点的第一概率、所述时间点属于结束点的第二概率以及所述时间点包括所述动作行为的第三概率;
在所述时间点中,确定所述第一概率大于第一预设阈值的候选起始点和所述第二概率大于第二预设阈值的候选结束点;
将每个所述候选起始点分别和每个所述候选结束点进行组合,生成至少一个候选片段;
在所述至少一个候选片段中确定目标视频片段,所述目标视频片段还包括完整的预设动作行为;
所述在所述至少一个候选片段中确定目标视频片段,包括:
将所述候选片段包括的时间点的第三概率,输入预设的片段评价模型,输出所述候选片段包括所述动作行为的第四概率;
将所述候选片段包括的时间点的第三概率,以及相邻片段包括的时间点的第三概率,输入预设的完整性判断模型,输出所述候选片段包括所述完整的预设动作行为的第五概率,所述相邻片段为与所述候选片段相邻的视频片段;
将所述第四概率和所述第五概率进行加权求和,得到所述候选片段的初始得分;
根据所述初始得分,在所述至少一个候选片段中确定目标视频片段。
2.根据权利要求1所述的方法,其特征在于,所述时间点关联有所述视频样本中的多帧连续视频帧,且所述多帧连续视频帧中,存在一帧视频帧与所述时间点对应;
所述确定所述时间点包括所述动作行为的第三概率,包括:
在所述行为片段生成模型中,根据所述时间点关联的多帧连续视频帧,确定所述时间点包括所述动作行为的第三概率。
3.根据权利要求1所述的方法,其特征在于,所述根据所述初始得分,在所述至少一个候选片段中确定目标视频片段,包括:
在多个所述候选片段中,确定任意两个候选片段之间的重合度;
在所述两个候选片段的重合度大于或等于预设阈值时,将所述两个候选片段中初始得分最高的候选片段确定为所述目标视频片段。
4.根据权利要求1所述的方法,其特征在于,所述将所述目标视频特征输入预设的行为类别分类器,得到所述目标视频片段中动作行为的分类类别,包括:
确定所述目标视频片段拆分得到的多个子片段,以及与所述目标视频片段相邻的相邻子片段;
将所述目标视频片段对应的目标视频特征、所述子片段对应的子视频特征、所述相邻子片段对应的相邻视频特征输入预设的行为类别分类器,得到所述目标视频片段中动作行为的分类类别。
5.根据权利要求4所述的方法,其特征在于,所述确定所述目标视频片段拆分得到的多个子片段,以及与所述目标视频片段相邻的相邻子片段,包括:
从所述目标视频片段的中点,将所述目标视频片段剪切为第一子片段和第二子片段;
根据所述片段时间序列和所述视频时间序列的匹配,从所述视频样本中确定与所述目标视频片段前后相邻的第一相邻子片段和第二相邻子片段。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910126988.9/1.html,转载请声明来源钻瓜专利网。