[发明专利]视线方向校正方法

说明书

本发明申请提出一种视线方向校正方法，该方法包含：获得第一影像；根据第一影像获得第一视线特征；判断第一视线特征是否落在视线区域中；若第一视线特征未落在视线区域中，依据第一影像获得对应第一影像的第二影像及对应第二影像的眼部影像；依据第一影像及眼部影像，合成暂存影像；修正暂存影像以产生脸部输出影像。

技术领域

本发明申请是关于视觉的数据处理方法，特别是有关于一种视线方向校正方法。

背景技术

现今藉由电子装置视频通话的用户大幅增加，进行视频通话时，可观看得对方的动态影像，如此可产生如面对面交流般的临场感，由对方的动态影像还可感受到语音通话所无法感受的亲切感。然而，由于硬件限制，电子装置上用以采集视频影像的镜头通常未设置在屏幕中央区域，若前述镜头摆放在屏幕周围，用户在使用视频通话时通常是直视屏幕中所显示的动态影像，当用户未注视镜头时，对方反而不容易感受到前述的临场感及亲切感，也就是视频通话的双方均无法与对方产生视觉交流，反而降低视频通话应有的良好体验。

发明内容

在一些实施例中，一种视线方向校正方法包含获得第一影像；根据第一影像获得第一视线特征；判断第一视线特征是否落在视线区域中；若第一视线特征未落在视线区域中，依据第一影像获得对应第一影像的第二影像及对应第二影像的眼部影像；依据第一影像及眼部影像，合成暂存影像；修正暂存影像以产生脸部输出影像。

在一些实施例中，修正脸部输出影像的步骤包含：计算第一影像与第二影像之间对应于同一像素位置的像素差值以产生差异影像；合成第二影像、差异影像、第一影像的眼部轮廓影像，以产生脸部输出影像。

在一些实施例中，在获得第一影像前获取参考脸部影像；计算第一影像与第二影像之间对应于同一像素位置的像素差值以产生差异影像；根据差异影像的各个像素的像素资料计算像素总和；比较像素总和与像素阈值以产生比较结果；合成第二影像、差异影像、第一影像的眼部轮廓影像以产生合成脸部影像；根据比较结果计算对应合成脸部影像的第一权重参数；根据第一权重参数、参考脸部影像及合成脸部影像产生脸部输出影像。

在一些实施例中，第一权重参数与第二权重参数的总和为1，根据第一权重参数、参考脸部影像及合成脸部影像产生脸部输出影像的步骤包含：将第一权重参数乘以合成脸部影像的像素数据以产生第一像素乘积；将第二权重参数乘以参考脸部影像的像素数据以产生第二像素乘积；加总第一像素乘积与第二像素乘积以产生脸部输出影像的像素数据。

在一些实施例中，获得第一影像的步骤后包含：根据第一影像获得第一视线方向；在判断第一视线方向之前，将第一影像的像素数据与视线校正模型中包含的多个人脸影像的像素数据进行匹配，并根据匹配后的第一影像校正第一视线特征；在校正第一视线特征后将第二影像的像素数据匹配至第一影像的像素数据。

在一些实施例中，获得第一影像的步骤后包含：根据第一影像获得第一视线方向；在判断第一视线方向之前，将第一视线特征匹配于一视线校正模型包含的多个人眼影像的视线特征，并根据匹配后的第一影像校正第一视线特征；在校正第一视线特征后将第二影像的人物特征匹配至第一影像的人物特征。

在一些实施例中，校正第一视线特征的步骤包含：根据深度学习结果校正第一视线特征为第二视线特征，深度学习结果对应于多个学习数据，学习数据包含多个人眼影像、各个人眼影像校正后的视线角度以及校正视线角度后的各个人眼影像。

在一些实施例中，根据第一影像判断多个脸部特征；根据脸部特征判断头部朝向方向；当头部朝向方向未朝向影像捕获设备时，不执行第一视线方向是否朝向影像捕获设备的位置的判断。

在一些实施例中，根据第一视线特征判断是否处于眨眼状态；当处于眨眼状态时，不执行第一视线方向是否朝向影像捕获设备的位置的判断。

在一些实施例中，根据第一影像判断多个脸部特征；根据脸部特征判断与影像捕获设备的距离是否小于预设距离值；当距离小于预设距离值时，不执行第一视线方向是否朝向影像捕获设备的位置的判断。