[发明专利]使用机器学习对眼睛图像进行校正的方法以及机器学习的方法

说明书

本发明涉及自动化和计算技术，即，涉及处理图像和视频数据的领域，即，涉及以目光重定向为目的对视频聊天、视频会议中的对话者的眼睛图像进行校正。一种校正眼睛图像的方法，其中该方法对人的脸至少获得一帧，于是确定这个人的眼睛在图像中的位置，并且形成紧密地包围眼睛的两个矩形区域，并且最后将眼睛区域中的每个像素的颜色分量取代成根据机器学习预测器的预测移位的像素的颜色分量。本发明的技术效果是以目光重定向为目的的眼睛图像的校正精度提高，其中处理视频图像的过程所需的资源减少。

技术领域

本组发明涉及自动化和计算技术，一般地涉及处理图像和视频数据的领域，即，涉及校正视频聊天、视频会议的过程中的对话者的眼睛的图像。

背景技术

目前，商业伙伴之间的视频会议以及在国外给亲戚打视频电话变为日常发生的事。特定软件和硬件的选择被与各方之间缺少视觉接触有关的复杂性所阻碍。该问题长时间吸引了研究者和工程师，并且它是由捕捉视频图像的摄像头的位置和脸在屏幕上的图像之间的不可避免的差异引起的。

最成功的目前已知的解决方案需要额外的设备，除了网络摄像头之外，比如：半透明镜/屏幕、立体摄像头或RGB-D摄像头。

在现有技术中已知申请人Ramot At Tel-Aviv University Ltd.的于2011年12月1日公布的专利申请WO2011148366“用于校正目光偏移的方法和系统(Method and systemfor correcting gaze offset)”。该方法包括以下步骤：对图像进行处理以便提取至少一个眼睛在该图像上的位置；对该图像进行处理以用取代数据取代与每个眼睛的每个位置相关联的影像数据；并且将所述校正后的图像发送到显示装置。该给定方法的缺点是，首先，在视频会议开始之前必需对视频会议的每个参与者预先记录朝向摄像头的目光的一组影像数据，第二，在视频会议期间目光方向的不自然固定。

从现有技术还已知作者D.Giger、J.C.Bazin、a C.Kuster、T.Popa、M.Gross发表于Proceedings of IEEE ICME 2014(中国，成都，2014年7月14-18日)中的文章“用单个网络摄像头进行目光校正(Gaze Correction with a Single Webcam)”。该指定方法包括：确定脸部特征点并且根据确定的脸部特征来匹配人头的几何模型，将图像投影到调整后的模型的纹理，将模型旋转到某个角度并且将转动的模型投影在图像中，匹配模型图像和源图像。该给定方法的限制是：整体脸比例变形，必需预先记录头部的被屏蔽部分(例如，下巴)的纹理，并且需要图形加速器来实现实时系统操作所必需的生产率。

发明内容

给定的一组发明的目的是在视频会议期间使用仅包括一个视频记录工具(视频摄像头)的装置来校正对话者的眼睛的图像。

给定发明的技术效果是，眼睛图像的校正精度提高，同时减少了处理视频帧的过程所需的资源。

该技术效果是由于(用于校正图像中的目光方位的)预测器的机器学习方法而实现的，其中该方法首先获得多个图像对，在每对中包含同一个人的图像，但是多个图像对的不同之处仅在于目光方向，然后确定眼睛在每个图像对中的位置，接着学习预测器，生成调整位移矢量场，以使得对于每个图像对，将该对中的第一图像的每个像素中的颜色分量取代成该对中的第一图像的根据预测器的预测移位的另一像素的颜色分量，得到尽可能地类似于该对中的第二图像的图像，以及将预测器作为结果保存。

位移场的预测器可以采取以下形式：

-单层或多层神经网络。

-至少一个决策树或决策树集合。

-生成仅取决于涉及眼睛的特征点的像素位置的固定位移矢量的预测器。

-机器学习中已知的任何其他形式的预测器。

使图像对中的眼睛区域为预设像素尺度。