[发明专利]一种基于视觉图像信息的眼动交互系统

说明书

本发明公开了一种基于视觉图像信息的眼动交互系统，包括头戴式AR眼镜、睁闭眼识别模块、注视点坐标预测模块、闭眼计时模块和指令集识别模块。头戴式AR眼镜逐帧采集双眼图像，睁闭眼识别模块负责识别左右双眼分别处于睁眼状态还是闭眼状态，如果睁闭眼识别模块将双眼图像都识别为睁眼状态，则利用注视点坐标预测模块实时预测当前双眼的注视点坐标。如果有一只眼睛图像识别为闭眼状态或者双眼图像都识别为闭眼状态，则利用指令集识别模块对眼动动作指令进行判别。本发明系统无须繁琐的标定过程，可以随戴随用，同时具有良好的自适应性和鲁棒性，具有低成本以及适用性广泛的优点。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及到一种基于视觉图像信息的眼动交互系统。

背景技术

相比较于其它人机交互方式，眼动交互是人与其它对象最直接、最自然的一种交互方式，在人机交互领域有着广泛的应用前景，其更是AR、VR等设备的重要组成部分。传统的眼动交互方法往往依赖特有设备且需要使用者完成复杂的校准过程。比如，现在头戴式AR设备中普遍采用红外校准方式，其需要使用者在每次佩戴时完成多点的标定工作，通过红外光在眼球上的多点反射确定相对位置关系，这种方式不仅使用流程繁琐且还会受到环境光和佩戴过程中发生的位置偏移的影响。

发明内容

针对现有的眼动交互方法使用流程繁琐且易受到其它因素影响的问题，本发明公开了一种基于视觉图像信息的眼动交互系统，通过摄像头采集的人眼眼部图像就可以实时预测出人眼视线的方向并且实现包括“眨眼确认”在内的多种眼部动作指令。

本发明公开了一种基于视觉图像信息的眼动交互系统，包括头戴式AR眼镜、睁闭眼识别模块、注视点坐标预测模块、闭眼计时模块和指令集识别模块，头戴式AR眼镜与睁闭眼识别模块相连接，睁闭眼识别模块与注视点坐标预测模块相连接，注视点坐标预测模块与指令集识别模块相连接，闭眼计时模块与睁闭眼识别模块相连接。头戴式AR眼镜的近眼摄像头逐帧采集双眼图像，并将每一帧双眼图像送入睁闭眼识别模块，睁闭眼识别模块负责识别左右双眼分别处于睁眼状态还是闭眼状态，如果睁闭眼识别模块将双眼图像都识别为睁眼状态，则利用注视点坐标预测模块实时预测当前双眼的注视点坐标。如果睁闭眼识别模块识别双眼图像中有一只眼睛图像识别为闭眼状态或者双眼图像都识别为闭眼状态，则利用指令集识别模块对眼动动作指令进行判别，眼动动作指令在人机交互中起到指令作用。眼动动作指令包括眨眼确认等。闭眼计时模块负责对连续闭眼状态的持续时间进行统计，其采用按帧计数的方式对时间进行统计。双眼的注视点坐标是指被试者双眼注视屏幕时，双眼视线交汇于屏幕上的一点的坐标。双眼图像包括左右两个单眼图像。

睁闭眼识别模块采用三层隐藏层的卷积神经网络进行睁眼闭眼的二分类识别，该卷积神经网络的输入为每一帧的单眼图像，输出为睁眼或者闭眼的二分类识别结果，三层隐藏层分别为卷积层、池化层以及全连接层。

所述的睁闭眼识别模块的构建，首先需要构建样本数据集，其次是搭建卷积神经网络，最后是对所搭建的卷积神经网络进行训练和测试。

所述的构建样本数据集，采集N个人的睁眼闭眼图片各M张，在采集过程中，在头戴式AR眼镜的近眼摄像头能采集到完整双眼图像的前提下，确保采集环境光线、近眼摄像头相对被采集者的位置和角度均具有多样性，对所采集到的NM张图像样本分别采用旋转、平移、亮度变化等方式，将其扩增至3NM张图像样本以上，将扩增后的图像样本作样本数据集。

所述的搭建卷积神经网络，该卷积神经网络的第一层为卷积层。第二层为池化层，采用最大池化方案。第三层即为全连接层，该层采用线性拟合的方式得到预测结果，三个层依次连接，激活函数采用ReLU激活函数，并将该激活函数添加至卷积层之后。

所述的对所搭建的卷积神经网络进行训练和测试，对样本数据集进行尺寸缩放、归一化和标准化处理，将处理过的样本数据转化为PyTorch可处理的Tensor向量，作为该卷积神经网络的输入，该卷积神经网络的梯度更新采用随机梯度下降算法，该卷积神经网络的参数优化采用Adam函数。采用交叉验证法对样本数据集进行划分并进行迭代训练及测试。