[发明专利]视线方向校正方法在审
申请号: | 202110011861.X | 申请日: | 2021-01-06 |
公开(公告)号: | CN114723932A | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 黄怡瑄;黄文聪 | 申请(专利权)人: | 瑞昱半导体股份有限公司 |
主分类号: | G06V10/24 | 分类号: | G06V10/24;G06V10/44;G06V40/16;G06V40/18 |
代理公司: | 北京志霖恒远知识产权代理事务所(普通合伙) 11435 | 代理人: | 胡少青;许媛媛 |
地址: | 中国台*** | 国省代码: | 台湾;71 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视线 方向 校正 方法 | ||
1.一种视线方向校正方法,其特征在于,所述方法包含:
获得第一影像;
根据所述第一影像获得第一视线特征;
判断所述第一视线特征是否落在视线区域中;
若所述第一视线特征未落在所述视线区域中,依据所述第一影像获得对应所述第一影像的第二影像及对应所述第二影像的眼部影像;
依据所述第一影像及所述眼部影像,合成暂存影像;以及
修正所述暂存影像以产生脸部输出影像。
2.如权利要求1所述的视线方向校正方法,其特征在于,修正所述脸部输出影像的步骤包含:
计算所述第一影像与所述第二影像之间对应于同一像素位置的像素差值以产生差异影像;及
合成所述第二影像、所述差异影像、所述第一影像的眼部轮廓影像,以产生所述脸部输出影像。
3.如权利要求1所述的视线方向校正方法,其特征在于,修正所述脸部输出影像的步骤还包含:
在获得所述第一影像前获取参考脸部影像;
计算所述第一影像与所述第二影像之间对应于同一像素位置的像素差值以产生差异影像;
根据所述差异影像的各个像素的像素数据计算像素总和;
比较所述像素总和与像素阈值以产生比较结果;
合成所述第二影像、所述差异影像、所述第一影像的眼部轮廓影像以产生合成脸部影像;
根据所述比较结果计算对应所述合成脸部影像的第一权重参数;及
根据所述第一权重参数、所述参考脸部影像及所述合成脸部影像产生所述脸部输出影像。
4.如权利要求3所述的视线方向校正方法,其特征在于,所述第一权重参数与第二权重参数的总和为1,根据所述第一权重参数、所述参考脸部影像及所述合成脸部影像产生所述脸部输出影像的步骤包含:
将所述第一权重参数乘以所述合成脸部影像的像素数据以产生第一像素乘积;
将所述第二权重参数乘以所述参考脸部影像的像素数据以产生第二像素乘积;及
加总所述第一像素乘积与所述第二像素乘积以产生所述脸部输出影像的像素数据。
5.如权利要求1所述的视线方向校正方法,其特征在于,获得所述第一影像的步骤后还包含:
根据所述第一影像获得第一视线方向;
在判断所述第一视线方向之前,将所述第一影像的像素数据与视线校正模型中包含的多个人脸影像的像素数据进行匹配,并根据匹配后的所述第一影像校正所述第一视线特征;及
在校正所述第一视线特征后将所述第二影像的像素数据匹配至所述第一影像的像素数据。
6.如权利要求1所述的视线方向校正方法,其特征在于,获得所述第一影像的步骤后还包含:
根据所述第一影像获得第一视线方向;
在判断所述第一视线方向之前,将所述第一视线特征匹配于视线校正模型包含的多个人眼影像的视线特征,并根据匹配后的所述第一影像校正所述第一视线特征;及
在校正所述第一视线特征后将所述第二影像的人物特征匹配至所述第一影像的人物特征。
7.如权利要求5或6所述的视线方向校正方法,其特征在于,校正所述第一视线特征的步骤包含:
根据深度学习结果校正所述第一视线特征为第二视线特征,所述深度学习结果对应于多个学习数据,所述些学习数据包含多个人眼影像、所述各个人眼影像的校正后的视线角度以及校正视线角度后的各个所述人眼影像。
8.如权利要求5或6所述的视线方向校正方法,其特征在于,所述校正方法还包含:
根据所述第一影像判断多个脸部特征;
根据所述些脸部特征判断头部朝向方向;及
当所述头部朝向方向未朝向影像捕获设备时,不执行所述第一视线方向是否朝向所述影像捕获设备的位置的判断。
9.如权利要求5或6所述的视线方向校正方法,所述校正方法还包含:
根据所述第一视线特征判断是否处于眨眼状态;及
当处于眨眼状态时,不执行所述第一视线方向是否朝向影像捕获设备的位置的判断。
10.如权利要求5或6所述的视线方向校正方法,其特征在于,所述校正方法还包含:
根据所述第一影像判断多个脸部特征;
根据所述些脸部特征判断与影像捕获设备的距离是否小于预设距离值;及
当所述距离小于所述预设距离值时,不执行所述第一视线方向是否朝向所述影像捕获设备的位置的判断。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于瑞昱半导体股份有限公司,未经瑞昱半导体股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110011861.X/1.html,转载请声明来源钻瓜专利网。