[发明专利]眼睛视线的检测方法、装置、设备及存储介质

说明书

本发明涉及图像识别技术领域，公开了一种眼睛视线的检测方法、装置、设备及存储介质，用于采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。眼睛视线的检测方法包括：获取待检测的目标图像；采用深度学习模型对待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于多个特征标记点判断目标眼睛是否为张眼状态；若目标眼睛为张眼状态，则基于多个边缘特征标记点和预置处理算法得到目标掩码图像；对目标掩码图像进行预处理，得到预处理后的目标图像；根据预处理后的目标图像，得到目标眼睛视线。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种眼睛视线的检测方法、装置、设备及存储介质。

背景技术

瞳孔是眼睛和视线方向的重要特征，通过定位眼睛和瞳孔中心的位置就可以表达出眼睛的视线方向、眼睛开闭等特征。随着图像大数据、深度学习等技术的发展，人脸识别等技术已经非常成熟，人们对人机交互、人脸表情交互、人脸捕捉等的需求大大提高。

目前眼睛定位技术大部分基于人脸识别技术，大部分的人脸表情研究都做得比较粗糙，比如人脸表情仅仅识别微笑、大笑、忧伤、痛苦或者镇静等分类识别；部分眼睛定位技术可以定位眼睛的位置或者进行眼睛视线追踪。

在现有技术中，主要采用传统图像算法或者深度学习研究眼睛视线方向，但是采用传统算法研究眼睛视线方向存在识别精度较低的情况，且采用深度学习方法研究眼睛视线方向存在无法支撑眼睛瞳孔大数据的问题。

发明内容

本发明的主要目的在于解决眼睛瞳孔识别精度低，且缓解眼睛瞳孔大数据不足的问题。

本发明第一方面提供了一种眼睛视线的检测方法，包括：获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；若所述目标眼睛为张眼状态，则基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；对所述目标掩码图像进行预处理，得到预处理后的目标图像；根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。

可选的，在本发明第一方面的第一种实现方式中，所述采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系包括：将所述待检测的目标图像输入深度学习模型，得到多个边缘特征标记点，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；读取所述多个边缘特征标记点对应的坐标，得到多个边缘特征标记点坐标；基于最小二乘法对所述多个边缘特征标记点坐标进行计算，得到眼睛闭合比率；判断所述目标眼睛闭合比率是否大于或者等于标准眼睛闭合比率；若所述目标眼睛闭合比率大于或者等于所述标准眼睛闭合比率，则确定所述目标眼睛为张眼状态。