[发明专利]眼部驱动控制方法和装置、存储介质及电子设备在审
申请号: | 202111296399.9 | 申请日: | 2021-11-03 |
公开(公告)号: | CN113946221A | 公开(公告)日: | 2022-01-18 |
发明(设计)人: | 方依云 | 申请(专利权)人: | 广州繁星互娱信息科技有限公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06V40/16;G06V40/18 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周婷婷 |
地址: | 510000 广东省广州市黄*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 眼部 驱动 控制 方法 装置 存储 介质 电子设备 | ||
1.一种眼部驱动控制方法,其特征在于,包括:
在当前直播画面中显示预先为主播对象配置的目标图片,其中,所述目标图片中显示有虚拟动物对象的面部;
基于采集到的所述主播对象的人脸图像,识别所述主播对象的单眼闭合特征,其中,所述单眼闭合特征是基于所述主播对象的单个眼睛上采集到的多个闭合点组的位置偏移量计算得到的,单个所述闭合点组中包括与同一直线相交的上眼睑点和下眼睑点;
根据所述单眼闭合特征所指示的眼部闭合程度,驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整。
2.根据权利要求1所述的方法,其特征在于,基于采集到的所述主播对象的人脸图像,识别所述主播对象的单眼闭合特征包括:
从所述人脸图像中识别出所述主播对象的眼部关键点序列,其中,所述眼部关键点序列中包括所述多个闭合点组中各个眼睑点的位置信息;
根据所述眼部关键点序列计算所述主播对象的单眼闭合程度系数;
获取所述主播对象的瞳距;
根据所述单眼闭合程度系数与所述瞳距之间的比值,确定所述单眼闭合特征。
3.根据权利要求2所述的方法,其特征在于,根据所述眼部关键点序列计算所述主播对象的单眼闭合系数包括:
确定每个所述闭合点组各自对应的睁眼距离和闭眼偏移距离,其中,所述睁眼距离为在单眼睁开状态下,所述闭合点组中所述上眼睑点和所述下眼睑点之间的空间距离,所述闭眼偏移距离为在单眼闭合状态下,所述闭合点组中所述上眼睑点和所述下眼睑点之间的偏移距离;
计算与每个所述闭合点组各自对应的距离差值,得到多个距离差值,其中,所述距离差值为同一闭合点组的所述睁眼距离和闭眼偏移距离之间的差值;
对所述多个距离差值进行加权求和计算,得到所述单眼闭合系数。
4.根据权利要求2所述的方法,其特征在于,根据所述单眼闭合程度系数与所述瞳距之间的比值,确定所述单眼闭合特征包括:
确定与所述单个眼睛匹配的补偿系数;
将所述补偿系数与所述比值的乘积,作为所述单眼闭合特征。
5.根据权利要求1所述的方法,其特征在于,根据所述单眼闭合特征所指示的眼部闭合程度,驱动控制所述目标图片中所述虚拟动物对象的眼部进行同步闭合调整包括:
根据至少相邻三帧的所述单眼闭合特征的变化,确定所述主播对象的眼部抖动状态;
按照与所述眼部抖动状态相匹配的驱动控制方式,调整所述虚拟动物对象的眼部进行同步闭合调整。
6.根据权利要求5所述的方法,其特征在于,按照与所述眼部抖动状态相匹配的驱动控制方式,调整所述虚拟动物对象的眼部进行同步闭合调整包括:
在所述眼部抖动状态指示处于微弱抖动情况下,获取当前帧人脸图像与在所述当前帧人脸图像之前的上两帧人脸图像之间的眼部抖动幅度值;
根据与所述当前帧人脸图像匹配的抖动系数与所述眼部抖动幅度值,计算出眼部闭合调整值;
按照所述眼部闭合调整值调整所述单眼闭合特征,并对所述单眼闭合特征进行均值滤波处理,得到处理后的所述单眼闭合特征;
按照处理后的所述单眼闭合特征,对在所述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的所述虚拟动物对象的眼部进行同步闭合调整。
7.根据权利要求5所述的方法,其特征在于,按照与所述眼部抖动状态相匹配的驱动控制方式,调整所述虚拟动物对象的眼部进行同步闭合调整包括:
在所述眼部抖动状态指示处于非抖动状态的情况下,对当前帧人脸图像对应的所述单眼闭合特征进行均值滤波处理,得到处理后的所述单眼闭合特征;
按照处理后的所述单眼闭合特征,对在所述当前帧人脸图像之后的下一帧人脸图像对应的目标图片中的所述虚拟动物对象的眼部进行同步闭合调整。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州繁星互娱信息科技有限公司,未经广州繁星互娱信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111296399.9/1.html,转载请声明来源钻瓜专利网。