[发明专利]表情重定向方法、装置、设备和介质在审
申请号: | 202110412843.2 | 申请日: | 2021-04-16 |
公开(公告)号: | CN113066156A | 公开(公告)日: | 2021-07-02 |
发明(设计)人: | 李团辉 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06K9/00 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 511400 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 表情 定向 方法 装置 设备 介质 | ||
1.一种表情重定向方法,其特征在于,包括:
实时获取直播视频帧中的人脸图像,并根据标准表情基组确定与所述人脸图像对应的标准表情系数;
确定与所述标准表情系数对应的个性化表情系数,其中,所述个性化表情系数与预先生成的目标个性化虚拟形象表情基组是匹配的;
将所述个性化表情系数使用到所述目标个性化虚拟形象表情基组上,以驱动与所述目标个性化虚拟形象表情基组对应的个性化虚拟形象的表情。
2.根据权利要求1所述的方法,其特征在于,在实时获取直播视频帧中的人脸图像之前,还包括:
获取包括多种面部表情动作的多视角视频数据,并确定所述多视角视频数据中的主视角视频数据;
根据所述标准表情基组确定与所述主视角视频数据的每个视频帧中的人脸图像分别对应的标准表情系数;
根据与所述多视角视频数据对应的三维网格流数据、与所述每个视频帧中的人脸图像分别对应的标准表情系数,以及表情基组模板,拆解得到所述目标个性化虚拟形象表情基组。
3.根据权利要求2所述的方法,其特征在于,所述确定与所述标准表情系数对应的个性化表情系数,包括:
将所述标准表情系数作为所述个性化表情系数。
4.根据权利要求1所述的方法,其特征在于,在实时获取直播视频帧中的人脸图像之前,还包括:
获取包括多种面部表情动作的多视角视频数据中的多个图像帧;
根据与所述多个图像帧对应的三维网格流数据,以及表情基组模板,拆解得到所述目标个性化虚拟形象表情基组。
5.根据权利要求4所述的方法,其特征在于,所述确定与所述标准表情系数对应的个性化表情系数,包括:
将所述标准表情系数映射成所述个性化表情系数。
6.根据权利要求5所述的方法,其特征在于,所述将所述标准表情系数映射成所述个性化表情系数,包括:
将所述标准表情系数输入目标神经网络中,通过所述目标神经网络输出所述个性化表情系数;
其中,所述目标神经网络是基于表情系数训练数据预先训练而生成的;
所述表情系数训练数据包括:根据所述标准表情基组确定与所述多视角视频数据中主视角视频数据的每个视频帧中的人脸图像分别对应的标准表情系数,以及根据所述目标个性化虚拟形象表情基组确定的与所述多视角视频数据的每个视频帧中的人脸图像分别对应的个性化表情系数。
7.根据权利要求1所述的方法,其特征在于,在实时获取直播视频帧中的人脸图像之前,还包括:
响应于个性化虚拟形象选择请求,确定与所述个性化虚拟形象选择请求匹配的预先生成的所述目标个性化虚拟形象表情基组。
8.一种表情重定向装置,其特征在于,包括:
标准表情系数确定模块,用于实时获取直播视频帧中的人脸图像,并根据标准表情基组确定与所述人脸图像对应的标准表情系数;
个性化表情系数确定模块,用于确定与所述标准表情系数对应的个性化表情系数,其中,所述个性化表情系数与预先生成的目标个性化虚拟形象表情基组是匹配的;
表情重定向模块,用于将所述个性化表情系数使用到所述目标个性化虚拟形象表情基组上,以驱动与所述目标个性化虚拟形象表情基组对应的个性化虚拟形象的表情。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110412843.2/1.html,转载请声明来源钻瓜专利网。