[发明专利]视频生成方法、装置、电子设备以及存储介质在审
申请号: | 202210431625.8 | 申请日: | 2022-04-22 |
公开(公告)号: | CN114827492A | 公开(公告)日: | 2022-07-29 |
发明(设计)人: | 王佳梨;赵代平;苏丽伟 | 申请(专利权)人: | 北京大甜绵白糖科技有限公司 |
主分类号: | H04N5/262 | 分类号: | H04N5/262;H04N5/265;H04N21/81;G06T13/40;H04L67/02 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 袁忠林 |
地址: | 100080 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 生成 方法 装置 电子设备 以及 存储 介质 | ||
1.一种视频生成方法,其特征在于,包括:
获取待处理视频,其中,所述待处理视频中包含真实对象执行目标动作的视频画面;
利用所述待处理视频中所述真实对象的目标肢体信息,确定目标虚拟对象的动作驱动数据,其中,所述目标肢体信息为所述真实对象执行所述目标动作过程中的肢体信息;所述动作驱动数据为驱动所述目标虚拟对象执行所述目标动作的数据;
基于所述动作驱动数据生成目标动画视频,其中,所述目标动画视频中包含所述目标虚拟对象执行所述目标动作的视频画面。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取视频生成模式,其中,所述视频生成模式用于指示所述目标虚拟对象中执行所述目标动作的模型部位;
根据以下方式确定所述待处理视频中所述真实对象的目标肢体信息:
基于所述视频生成模式确定所述真实对象中与所述模型部位相匹配的肢体部位;
确定所述待处理视频的指定视频帧中所述真实对象的肢体部位的肢体关键点信息,所述目标肢体信息包括所述肢体关键点信息。
3.根据权利要求1或2所述的方法,其特征在于,所述利用所述待处理视频中所述真实对象的目标肢体信息,确定目标虚拟对象的动作驱动数据,包括:
基于所述目标肢体信息生成所述目标虚拟对象执行所述目标动作的过程中该目标虚拟对象的各对象关键点的运动轨迹;所述动作驱动数据包括所述各对象关键点的运动轨迹。
4.根据权利要求3所述的方法,其特征在于,所述目标肢体信息包含多个肢体子信息,所述目标动作包含多个子动作,每个肢体子信息和每个子动作均对应待处理视频中的一个指定视频帧;
所述基于所述目标肢体信息生成所述目标虚拟对象执行所述目标动作的过程中该目标虚拟对象的各对象关键点的运动轨迹,包括:
基于每个所述肢体子信息生成所述目标虚拟对象执行每个所述子动作时各对象关键点的位置信息;
按照所述待处理视频中各指定视频帧的采集顺序对所述位置信息进行排序,并基于排序结果确定所述运动轨迹。
5.根据权利要求3或4所述的方法,其特征在于,所述目标肢体信息为所述真实对象的肢体关键点信息;
所述基于所述目标肢体信息生成所述目标虚拟对象执行所述目标动作的过程中该目标虚拟对象的各对象关键点的运动轨迹,包括:
将所述肢体关键点信息输入至目标深度学习网络中进行处理,得到所述各对象关键点的运动轨迹。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
在检测到用户对视频合成素材的素材选择操作之后,基于所述素材选择操作,获取视频合成素材;
所述基于所述动作驱动数据生成目标动画视频,包括:基于所述视频合成素材和所述动作驱动数据生成所述目标动画视频。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
获取客户端所在终端设备的剩余计算资源;
所述利用所述待处理视频中所述真实对象的目标肢体信息,确定目标虚拟对象的动作驱动数据,包括:
在确定所述剩余计算资源不满足预设计算需求的情况下,向服务器发送所述待处理视频的视频处理请求,所述视频处理请求中包括所述目标肢体信息,用于指示所述服务器利用所述目标肢体信息确定目标虚拟对象的动作驱动数据;
接收所述服务器基于所述视频处理请求反馈的所述目标虚拟对象的动作驱动数据。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述利用所述待处理视频中所述真实对象的目标肢体信息,确定目标虚拟对象的动作驱动数据,包括:
基于所述目标肢体信息确定所述目标动作的动作类型;
在驱动数据库中查找与所述动作类型相匹配的动作驱动数据为所述目标虚拟对象的动作驱动数据,其中,所述驱动数据库中包含多个预先设定的动作类型的动作驱动数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大甜绵白糖科技有限公司,未经北京大甜绵白糖科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210431625.8/1.html,转载请声明来源钻瓜专利网。