[发明专利]虚拟形象的生成方法、装置、存储介质及电子设备在审
申请号: | 202011513932.8 | 申请日: | 2020-12-18 |
公开(公告)号: | CN112652041A | 公开(公告)日: | 2021-04-13 |
发明(设计)人: | 雷超兵;赵明瑶 | 申请(专利权)人: | 北京大米科技有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06K9/00;G10L15/02;G10L15/25;G10L15/26 |
代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 张晓芳 |
地址: | 100025 北京市朝*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 形象 生成 方法 装置 存储 介质 电子设备 | ||
1.一种虚拟形象的生成方法,其特征在于,所述方法包括:
获取目标对象的基础虚拟形象视频;
确定所述基础虚拟形象视频的持续时间段内的眨眼特性信息;
根据所述眨眼特性信息和所述基础虚拟形象视频生成具有眨眼特性的最终虚拟形象视频。
2.根据权利要求1所述方法,其特征在于,所述获取目标对象的基础虚拟形象视频,包括:
对音频数据进行特征提取得到声音特征;
通过人脸关键点生成模型对所述声音特征进行处理得到人脸关键点特征;
根据所述人脸关键点特征生成基础虚拟形象视频。
3.根据权利要求1所述方法,其特征在于,所述眨眼特性信息表示所述持续时间段内的多个眨眼时刻,以及各个眨眼时刻的眨眼时长和人眼开合距离。
4.根据权利要求3所述方法,其特征在于,所述多个眨眼时刻在所述持续时间段内呈周期分布,所述各个眨眼时刻的眨眼时长和人眼开合距离呈随机分布。
5.根据权利要求3所述方法,其特征在于,所述确定所述基础虚拟形象视频的持续时间段内的眨眼特性信息之前,还包括:
统计多个视频素材的眨眼频率得到平均眨眼频率;
根据所述多个视频素材在各个眨眼时刻、各眨眼时长内的人眼开合距离拟合出人眼眨眼变化模型。
6.根据权利要求3所述方法,其特征在于,所述确定所述基础虚拟形象视频的持续时间段内的眨眼特性信息,包括:
对所述基础虚拟形象视频对应的音频数据进行语音识别处理得到文本数据;
通过自然语言处理NLP模型在所述文本数据中提取预设关键词;
将各个预设关键词的出现时刻确定为眨眼时刻;
识别出所述各个预设关键词的语调,根据所述语调确定眨眼时长和人眼开合距离;
基于所述眨眼时刻、所述眨眼时长和所述人眼开合距离生成眨眼特性信息。
7.根据权利要求3所述方法,其特征在于,所述确定所述基础虚拟形象视频的持续时间段内的眨眼特性信息,还包括:
根据预设的平均眨眼频率在所述持续时间区间内确定多个初始的眨眼时刻;
为所述多个初始的眨眼时刻增加随机时长得到所述持续时间区间内的多个最终的眨眼时刻;
根据所述人眼眨眼变化模型生成各个眨眼时刻的眨眼时长和人眼开合距离;
基于所述多个最终的眨眼时刻、所述眨眼时长和所述人眼开合距离生成眨眼特性信息。
8.根据权利要求3所述方法,其特征在于,所述根据所述眨眼特性信息和所述基础虚拟形象视频生成具有眨眼特性的最终虚拟形象视频,包括:
确定所述基础虚拟形象视频的多个眨眼时刻;
获取各个眨眼时刻的眨眼时长和人眼开合距离;
将各个眨眼时长内的基础虚拟形象视频分割为连续帧图像;
基于所述人眼开合距离对所述连续帧图像中的眼部关键点进行变换处理得到变换结果;
基于所述变换结果生成具有眨眼特性的最终虚拟形象视频。
9.一种虚拟形象的生成装置,其特征在于,包括:
获取模块,用于获取目标对象的基础虚拟形象视频;
确定模块,用于确定所述基础虚拟形象视频的持续时间段内的眨眼特性信息;
生成模块,用于根据所述眨眼特性信息和所述基础虚拟形象视频生成具有眨眼特性的最终虚拟形象视频。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~8任意一项的方法步骤。
11.一种电子设备,其特征在于,包括:存储器和处理器;其中,所述存储器存储有计算机程序,所述计算机程序适用于由所述处理器加载并执行如权利要求1~8任意一项的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大米科技有限公司,未经北京大米科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011513932.8/1.html,转载请声明来源钻瓜专利网。