[发明专利]一种基于视觉图像信息的眼动交互系统

权利要求书

1.一种基于视觉图像信息的眼动交互系统，其特征在于，包括头戴式AR眼镜、睁闭眼识别模块、注视点坐标预测模块、闭眼计时模块和指令集识别模块，头戴式AR眼镜与睁闭眼识别模块相连接，睁闭眼识别模块与注视点坐标预测模块相连接，注视点坐标预测模块与指令集识别模块相连接，闭眼计时模块与睁闭眼识别模块相连接；头戴式AR眼镜的近眼摄像头逐帧采集双眼图像，并将每一帧双眼图像送入睁闭眼识别模块，睁闭眼识别模块负责识别左右双眼分别处于睁眼状态还是闭眼状态，如果睁闭眼识别模块将双眼图像都识别为睁眼状态，则利用注视点坐标预测模块实时预测当前双眼的注视点坐标；如果睁闭眼识别模块识别双眼图像中有一只眼睛图像识别为闭眼状态或者双眼图像都识别为闭眼状态，则利用指令集识别模块对眼动动作指令进行判别，眼动动作指令在人机交互中起到指令作用；闭眼计时模块负责对连续闭眼状态的持续时间进行统计，其采用按帧计数的方式对时间进行统计；双眼的注视点坐标是指被试者双眼注视屏幕时，双眼视线交汇于屏幕上的一点的坐标；双眼图像包括左右两个单眼图像。

2.如权利要求1所述的基于视觉图像信息的眼动交互系统，其特征在于，

睁闭眼识别模块采用三层隐藏层的卷积神经网络进行睁眼闭眼的二分类识别，该卷积神经网络的输入为每一帧的单眼图像，输出为睁眼或者闭眼的二分类识别结果，三层隐藏层分别为卷积层、池化层以及全连接层。

3.如权利要求2所述的基于视觉图像信息的眼动交互系统，其特征在于，

所述的睁闭眼识别模块的构建，首先需要构建样本数据集，其次是搭建卷积神经网络，最后是对所搭建的卷积神经网络进行训练和测试；

所述的构建样本数据集，采集N个人的睁眼闭眼图片各M张，在采集过程中，在头戴式AR眼镜的近眼摄像头能采集到完整双眼图像的前提下，确保采集环境光线、近眼摄像头相对被采集者的位置和角度均具有多样性，对所采集到的NM张图像样本分别采用旋转、平移、亮度变化的方式，将其扩增至3NM张图像样本以上，将扩增后的图像样本作样本数据集；

所述的搭建卷积神经网络，该卷积神经网络的第一层为卷积层；第二层为池化层，采用最大池化方案；第三层即为全连接层，该层采用线性拟合的方式得到预测结果，三个层依次连接，激活函数采用ReLU激活函数，并将该激活函数添加至卷积层之后；

所述的对所搭建的卷积神经网络进行训练和测试，对样本数据集进行尺寸缩放、归一化和标准化处理，将处理过的样本数据转化为PyTorch可处理的Tensor向量，作为该卷积神经网络的输入，该卷积神经网络的梯度更新采用随机梯度下降算法，该卷积神经网络的参数优化采用Adam函数；采用交叉验证法对样本数据集进行划分并进行迭代训练及测试。

4.如权利要求1所述的基于视觉图像信息的眼动交互系统，其特征在于，

所述的注视点预测模块，采用六层深度卷积神经网络来实现，该模块的输入为每一帧的双眼图片，其输出为预测得到的双眼的注视点坐标值。