[发明专利]一种基于脑电辅助的增强现实眼镜眼动交互自标定方法

权利要求书

1.一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，包括：

采集眼动图片及相应的增强现实眼镜内三维注视点信息；

通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；

利用脑电辅助模块在所述注视区域内进行注视点修正，进而进行眼动参数自标定，包括：

将所述注视区域进行分块，在每个分块内设置不同频率的SSVEP视觉刺激信号；

所述脑电辅助模块根据所述SSVEP视觉刺激信号获得脑电信号；

所述脑电辅助模块根据所述脑电信号预测每个分块的注视区域，反复迭代预测过程以获得精确注视点；

对眼动参数进行自标定。

2.根据权利要求1所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述采集眼动图片及相应的增强现实眼镜内三维注视点信息，包括：

采集人员与增强现实眼镜交互时的眼动图片；

在增强现实眼镜内，随机生成注视点，人员在确认注视生成点时，同步保存眼动图片和注视点信息；

采集不同人员在不同佩戴方式下的批量样本。

3.根据权利要求1或2所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述采集眼动图片使用以下相机中的一种：灰度相机、彩色相机、红外相机，并结合图像增强拍摄技术。

4.根据权利要求1所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述深度神经网络模型采用双通道网络模型，双通道分别对左右眼睛图像进行特征处理，获得左右眼动图像的深度特征。

5.根据权利要求4所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，进一步包括：

将采集的眼动图片作为输入，并将其对应的注视点信息作为输出，训练深度神经网络参数。

6.根据权利要求4所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系，包括：

左、右眼动图像分别通过各自神经网络通道进行特征提取；

将左右眼图像特征进行融合，获得融合特征；

根据所述融合特征，进行神经网络特征处理；

利用全连接层，将所述融合特征映射到注视区域。

7.根据权利要求6所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

通过所述深度神经网络模型预测获得所述注视区域。

8.一种基于脑电辅助的增强现实眼镜眼动交互自标定系统，其特征在于，包括：

采集模块，用于采集眼动图片及相应的增强现实眼镜内三维注视点信息；

拟合模块，用于通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；

脑电辅助模块，用于在所述注视区域内进行注视点修正，进而进行眼动参数自标定，包括：

将所述注视区域进行分块，在每个分块内设置不同频率的SSVEP视觉刺激信号；

所述脑电辅助模块根据所述SSVEP视觉刺激信号获得脑电信号；

所述脑电辅助模块根据所述脑电信号预测每个分块的注视区域，反复迭代预测过程以获得精确注视点；

对眼动参数进行自标定。