[发明专利]视频集的生成方法及装置、计算机设备与可读介质有效
申请号: | 201910355708.1 | 申请日: | 2019-04-29 |
公开(公告)号: | CN110166650B | 公开(公告)日: | 2022-08-23 |
发明(设计)人: | 刘霄;李鑫;李甫;何栋梁;龙翔;张赫男;孙昊;文石磊;丁二锐 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | H04N5/222 | 分类号: | H04N5/222;H04N5/262;H04N5/265;H04N21/845 |
代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 田宏宾 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 生成 方法 装置 计算机 设备 可读 介质 | ||
1.一种视频集的生成方法,其特征在于,所述方法包括:
在接收到携带指定实体和指定动作的视频集的生成请求的情况下,基于预先建立的知识图谱,获取指定实体相关的多个视频;
根据预先训练的动作检测模型,从所述多个视频中剪辑包含指定动作的多个视频片段,其中将所述多个视频输入至所述动作检测模型中,由动作检测模型输出视频中包含指定动作的视频片段,一种动作检测模型用于识别一种指定动作;
将包含所述指定动作的所述多个视频片段拼接在一起,得到所述视频集;
其中,根据预先训练的动作检测模型,从所述多个视频中剪辑包含指定动作的多个视频片段之后,将包含所述指定动作的所述多个视频片段拼接在一起,得到所述视频集之前,所述方法还包括:若所述指定实体为指定人物信息时,基于所述指定人物信息对所述多个视频片段进行人脸检测,删除所述多个视频片段中未包括所述指定人物信息的视频片段;若所述指定实体为指定动物信息时,基于所述指定动物信息对所述多个视频片段进行特征检测,删除所述多个视频片段中未包括所述指定动物信息的视频片段。
2.根据权利要求1所述的方法,其特征在于,根据预先训练的动作检测模型,从所述多个视频中剪辑包含指定动作的多个视频片段,包括:
对于各所述视频,按照时间先后顺序,抽取各帧的图像,得到一组图像序列;
根据各组所述图像序列和所述动作检测模型,预测对应的所述视频中所述指定动作的起始点和终止点;
根据各所述指定动作的起始点和终止点,从对应的所述视频中剪辑对应的包含所述指定动作的视频片段,共得到所述多个视频片段。
3.根据权利要求2所述的方法,其特征在于,根据各组所述图像序列和所述动作检测模型,预测对应的所述视频中所述指定动作的起始点和终止点,包括:
将各组所述图像序列中的各张所述图像输入至所述动作检测模型中,由所述动作检测模型预测对应的所述图像是所述指定动作的起始点的概率和对应的所述图像是所述指定动作的终止点的概率;
获取各组所述图像序列中所述指定动作的起始点的概率大于预设概率阈值的图像对应的时刻作为对应的所述视频中所述指定动作的起始点、所述指定动作的终止点的概率大于所述预设概率阈值的图像对应的时刻作为对应的所述视频中所述指定动作的终止点。
4.根据权利要求2所述的方法,其特征在于,对于各所述视频,按照时间先后顺序,抽取各帧的图像,得到一组图像序列之后,根据各组所述图像序列和所述动作检测模型,获取各组所述图像序列中的所述指定动作的起始点和终止点之前,所述方法还包括:
若所述指定实体为指定人物信息时,基于所述指定人物信息对各组所述图像序列中的图像进行人脸检测,删除各组所述图像序列中未包括所述指定人物信息的图像;
若所述指定实体为指定动物信息时,基于所述指定动物信息对各组所述图像序列中的图像进行特征检测,删除各组所述图像序列中未包括所述指定动物信息的图像。
5.根据权利要求1所述的方法,其特征在于,根据预先训练的动作检测模型,从所述多个视频中剪辑包含指定动作的多个视频片段之前,所述方法还包括:
采集包括所述指定动作的数个训练视频片段,并标注各所述训练视频片段中所述指定动作的真实起始点和真实终止点;
根据所述数个训练视频片段、各所述训练视频片段中标注所述指定动作的真实起始点和真实终止点,训练所述动作检测模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910355708.1/1.html,转载请声明来源钻瓜专利网。