[发明专利]视频生成方法、装置、设备及存储介质在审
申请号: | 202111566280.9 | 申请日: | 2021-12-20 |
公开(公告)号: | CN114283060A | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 张英杰;张启军;朱亦凡;张清源 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T5/50;G06T7/62;G06T7/64 |
代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 生成 方法 装置 设备 存储 介质 | ||
1.一种视频生成方法,其特征在于,包括:
提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息;其中,所述原始图像和所述原始驱动视频均包含人物形象;
根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息;
根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理,获得多个目标图像;
将所述多个目标图像进行拼接,获得目标视频。
2.根据权利要求1所述的方法,其特征在于,所述第一特征信息包括第一关键点信息和第一属性特征信息;所述第二特征信息包括第二关键点信息和第二属性特征信息;根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息,包括:
根据所述第一关键点信息确定第一凸包面积;
根据所述第二关键点信息确定第二凸包面积;
对于第N个视频帧,对所述第一凸包面积和所述第二凸包面积进行线性处理,获得适配信息;其中,N为大于或等于1的正整数;
对所述第一属性特征信息和所述第二属性特征信息进行线性处理,获得目标属性特征信息;
根据所述适配信息和所述目标属性特征信息获得第N个视频帧对应的光流变换信息。
3.根据权利要求2所述的方法,其特征在于,对所述第一凸包面积和所述第二凸包面积进行线性处理,获得适配信息,包括:
对所述第一凸包面积和所述第二凸包面积分别进行开方根计算;
将开方根计算的所述第一凸包面积和所述第二凸包面积进行相除,获得第N个视频帧的适配信息。
4.根据权利要求2所述的方法,其特征在于,对所述第一属性特征信息和所述第二属性特征信息进行线性处理,获得目标属性特征信息,包括:
将第N个视频帧的第二属性信息和首个视频帧的第二属性信息进行线性融合,获得第二中间属性特征信息;
将所述第二中间属性信息和所述第一属性特征信息进行线性融合,获得目标属性特征信息。
5.根据权利要求4所述的方法,其特征在于,所述第一属性特征信息和所述第二属性特征信息均由矩阵表征;将第N个视频帧的第二属性信息和首个视频帧的第二属性信息进行线性融合,获得第二中间属性特征信息,包括:
将第N个视频帧的第二属性信息对应的矩阵逆变换后与首个视频帧的第二属性信息对应的矩阵进行相乘,获得第二中间属性特征信息;
将所述第二中间属性信息和所述第一属性特征信息进行线性融合,获得目标属性特征信息,包括:
将所述第二中间属性特征信息对应的矩阵与所述第一属性特征信息对应的矩阵进行相乘,获得目标属性特征信息。
6.根据权利要求1所述的方法,其特征在于,根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理,获得多个目标图像,包括:
将所述原始图像、所述第一特征信息和所述多个光流变换信息输入设定解码器,获得多个目标图像;其中,所述设定解码器包含多个卷积层。
7.根据权利要求1所述的方法,其特征在于,在提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息之前,还包括:
按照设定抽样频率从所述原始驱动视频中提取视频帧,获得多个视频帧。
8.一种视频生成装置,其特征在于,包括:
特征信息提取模块,用于提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息;其中,所述原始图像和所述原始驱动视频均包含人物形象;
光流变换信息获取模块,用于根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息;
目标图像获取模块,用于根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理,获得多个目标图像;
目标视频获取模块,用于将所述多个目标图像进行拼接,获得目标视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111566280.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:芯片失效分析的样品制备方法及样品制备设备
- 下一篇:一种羽绒清洗装置及方法