[发明专利]一种人眼视线识别方法、装置、系统及存储介质

说明书

本发明提供了一种人眼视线识别方法、装置、系统及计算机存储介质。所述人眼视线识别方法包括：获取待检测对象的人脸图像序列，所述人脸图像序列包括至少一张人脸图像；基于所述人脸图像得到眼部关键点信息；根据所述眼部关键点信息拟合得到眼部轮廓曲线；基于所述眼部轮廓曲线确定所述人眼视线的方向。根据本发明的方法、装置、系统及计算机存储介质，基于人脸检测技术获取左右眼部区域的精细的轮廓信息，实现人眼视线的准确分析，提高了识别的精度，且方便快捷，显著地提升用户体验。

技术领域

本发明涉及图像处理技术领域，更具体地涉及人脸图像的处理。

背景技术

现有的体型优化、美型塑形方案主要包括借助第三方图像处理软件进行图像处理，例如：OpenCV等。这些第三方图像处理软件的处理方法主要包括：通过分割图像的人眼区域、采用hough变换圆检测、灰度投影灯方法来定位瞳孔位置，依据瞳孔位置来估计视线方向。但是上述方法需要借助第三方图像处理软件，不是所见即所得，且操作较为繁琐；而且基于二维图像中瞳孔的位置来估计视线的方向、误差很大、精确度低、应用场景有限。

因此，现有技术中的人眼视线识别存在需要借助第三方图像处理软件且操作较为繁琐，误差很大、精确度低，不利于应用等问题。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种人眼视线识别方法、装置、系统及计算机存储介质，通过检测眼部关键点并拟合得到眼部轮廓曲线以确定人眼视线方向，实现人眼视线的准确分析，提高了识别的精度，且方便快捷，显著地提升用户体验。

根据本发明实施例的一方面，提供了一种人眼视线识别方法，包括：

获取待检测对象的人脸图像序列，所述人脸图像序列包括至少一张人脸图像；

基于所述人脸图像得到眼部关键点信息；

根据所述眼部关键点信息拟合得到眼部轮廓曲线；

基于所述眼部轮廓曲线确定所述人眼视线的方向。

示例性地，所述基于所述人脸图像得到眼部关键点信息包括：

基于所述人脸图像和训练好的人脸关键点检测模型得到人脸关键点信息，；

根据所述人脸关键点信息获取眼部区域图像；

将所述眼部区域图像输入局部精细关键点检测模型得到所述眼部关键点信息。

示例性地，所述眼部关键点信息包括瞳孔中心关键点信息和眼部轮廓关键点信息。

示例性地，根据所述眼部关键点信息拟合得到眼部轮廓曲线，包括：

基于所述眼部轮廓关键点的坐标拟合得到椭圆形状的所述眼部轮廓曲线。

示例性地，基于所述眼部轮廓曲线确定所述人眼视线的方向包括：

根据所述眼部轮廓曲线计算眼部的视网焦点坐标；

基于所述眼部的视网焦点坐标和瞳孔中心关键点坐标确定所述人眼视线的方向。

示例性地，根据所述眼部轮廓曲线计算眼部的视网焦点坐标包括：根据所述眼部轮廓曲线计算得到所述眼部轮廓曲线的长轴和短轴；基于所述长轴和短轴计算得到所述视网焦点坐标。

示例性地，所述人眼视线方向包括人眼视线向量的方向，其中，计算所述人眼视线向量包括计算眼部的视网焦点坐标和瞳孔中心关键点坐标之差。

根据本发明实施例的另一方面，提供了一种人眼视线识别装置，包括：

人脸获取模块，用于获取待检测对象的人脸图像序列，所述人脸图像序列包括至少一张人脸图像；

眼部关键点模块，用于基于所述人脸图像得到眼部关键点信息；