[发明专利]一种优化人脸驱动参数的方法及电子设备在审
申请号: | 202211543406.5 | 申请日: | 2022-12-02 |
公开(公告)号: | CN115861536A | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 刘帅;吴连朋 | 申请(专利权)人: | 聚好看科技股份有限公司 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06V40/16 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 刘醒晗 |
地址: | 266100 山*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 优化 驱动 参数 方法 电子设备 | ||
1.一种优化人脸驱动参数的方法,其特征在于,应用于远程三维通信系统,所述方法包括:
在远程三维交互前,获取目标对象的初始人脸图像,从所述初始人脸图像中提取初始人脸关键点以及识别出所述目标对象的性别和年龄;
根据所述目标对象的性别和年龄,加载对应的皱纹信息;
根据所述皱纹信息,获得标准参数化头部模型;
根据所述初始人脸关键点和所述标准参数化头部模型,确定所述目标对象的初始参数化头部模型;
在远程三维交互过程中,获取目标对象的目标人脸图像,从所述目标人脸图像中提取目标人脸关键点;
根据所述初始参数化头部模型和所述目标人脸关键点,确定目标驱动参数;
根据所述皱纹信息优化所述目标驱动参数,以使渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动,得到所述目标对象的目标参数化头部模型。
2.如权利要求1所述的方法,其特征在于,根据所述目标对象的性别和年龄加载对应的皱纹信息之前,所述方法还包括:
获取所述目标对象的语音数据,并从所述语音数据中识别所述目标对象的性别和年龄;将所述语音数据和所述初始人脸图像中分别识别出的所述目标对象的性别进行加权,以及对所述语音数据和所述初始人脸图像中分别识别出的所述目标对象的年龄进行加权,以对所述初始人脸图像中识别出的所述目标对象的性别和年龄分别进行优化。
3.如权利要求1或2所述的方法,其特征在于,所述皱纹信息包含皱纹数量、皱纹密度、皱纹长度和皱纹类型中的至少一项。
4.如权利要求1或2所述的方法,其特征在于,所述目标驱动参数包含目标形状参数、目标姿态参数和目标表情参数;
所述根据所述皱纹信息优化所述目标驱动参数,以使渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动,得到所述目标对象的目标参数化头部模型,包括:
根据所述皱纹信息优化所述目标形状参数,以使渲染显示终端根据所述目标姿态参数、所述目标表情参数和优化后的目标形状参数驱动预先存储的所述初始参数化头部模型运动,得到所述目标对象的目标参数化头部模型。
5.如权利要求4所述的方法,其特征在于,优化过程公式表示如下:
其中,base是自然状态下所述初始参数化头部模型对应的初始驱动参数,自然状态下所述初始驱动参数中的初始形状参数和初始表情参数为0,βi表示当前表情下第i个表情基的目标形状参数,ψi当前表情下第i个表情基的目标表情参数,n为表情基的总数。
6.如权利要求1所述的方法,其特征在于,向渲染显示终端发送优化后的目标驱动参数之前,所述方法还包括:
根据优化后的目标驱动参数,设置所述目标对象面部的各个表情基的权重系数;
根据各个权重系数,对各个表情基的权重进行调整以对所述目标驱动参数进行二次优化。
7.一种电子设备,其特征在于,应用于远程三维通信系统,包括处理器、存储器和通信接口,所述存储器、所述通信接口和所述处理器通过总线连接;
所述存储器存储有计算机程序,所述处理器根据所述计算机程序,执行以下操作:
在远程三维交互前,获取目标对象的初始人脸图像,从所述初始人脸图像中提取初始人脸关键点以及识别出所述目标对象的性别和年龄;
根据所述目标对象的性别和年龄,加载对应的皱纹信息;
根据所述皱纹信息,获得标准参数化头部模型;
根据所述初始人脸关键点和所述标准参数化头部模型,确定所述目标对象的初始参数化头部模型;
在远程三维交互过程中,获取目标对象的目标人脸图像,从所述目标人脸图像中提取目标人脸关键点;
根据所述初始参数化头部模型和所述目标人脸关键点,确定目标驱动参数;
根据所述皱纹信息优化所述目标驱动参数,并通过所述通信接口,将优化后的目标驱动参数发送给渲染显示终端,以使所述渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动,得到所述目标对象的目标参数化头部模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于聚好看科技股份有限公司,未经聚好看科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211543406.5/1.html,转载请声明来源钻瓜专利网。