[发明专利]一种基于头部时序信号校正的眼动交互方法及装置

权利要求书

1.一种基于头部时序信号校正的眼动交互方法，其特征在于，用于头戴式近眼眼动交互设备，包括步骤：

S1：采集连续多帧双眼图像以及对应的头部运动时序信息、实际屏幕注视点坐标为第一采集数据；采集大量不同人员在不同场景下的所述第一采集数据为第一采集数据组，对所述第一采集数据组中的数据进行预处理；

对所述第一采集数据进行预处理包括：

通过头戴式设备的近眼摄像头采集佩戴所述头戴式设备的人员的所述连续多帧双眼图像数据，对所述连续多帧双眼图像数据进行预处理，获取每一帧双眼图像标准化向量数据；所述预处理具体为将双眼图像预处理为128*128的图像，对每一帧中所对应的双眼图像先后经过图片压缩以及均值与标准差分别为【0.485, 0.456, 0.406】，【0.229, 0.224,0.225】的标准化预处理，产生两个大小为3*128*128的tensor向量为所述双眼图像标准化向量数据；

通过所述头戴式设备中的陀螺仪采集所述人员的所述头部运动时序信息数据，所述头部运动时序信息为姿态角，空间运动速度，姿态角速度；对所述人员的所述头部运动时序信息进行预处理，拼接为一个长度为9的一维向量为每一帧头部运动一维向量数据；

所述实际屏幕注视点坐标为AR屏幕建立相对坐标系下的相对于屏幕左上角的相对坐标，取值范围为[0,1]；

S2：使用所述第一采集数据组训练深度卷积网络注视点预测模型，获得所述连续多帧双眼图像和所述头部运动时序信息到预估注视点坐标的映射关系；

所述深度卷积网络注视点预测模型包括：

选择MobileNetV3网络模型为第一卷积神经网络，用于将所述每一帧双眼图像标准化向量数据输入所述第一卷积神经网络进行处理，获取双眼图像高维特征，将所述双眼图像高维特征进行拼接，得到长为128的一维双眼图像特征向量；

选择GRU网络模型作为第二卷积神经网络，用于将连续n帧所述一维双眼图像特征向量输入所述第二卷积神经网络进行处理，获取n*128的二维双眼图像特征向量，n为自然数；

选取两个全连接层与GRU网络模型组成第三卷积神经网络，用于将连续n帧所述头部运动时序信息输入所述第三卷积神经网络进行处理，获取n*128二维头部运动特征向量；其中所述连续n帧头部运动时序信息对应于所述连续n帧双眼图像标准化向量数据；

选取两个全连接层与GRU网络模型组成第四卷积神经网络，用于将所述二维双眼图像特征向量与所述二维头部运动特征向量输入所述第四卷积神经网络进行处理，获取所述连续n帧中最后一帧所对应的预估注视点；

S3：将已有或实时采集的所述连续多帧双眼图像以及对应的头部运动时序信息进行所述预处理后，输入已完成训练的所述深度卷积网络注视点预测模型，获取所述连续多帧中最后一帧双眼图像所对应的预估注视点。

2.根据权利要求1所述的基于头部时序信号校正的眼动交互方法，其特征在于，使用所述第一采集数据组训练深度卷积网络注视点预测模型包括：

S21：将所述第一采集数据组分为训练组和测试组；

S22：使用所述训练组对所述深度卷积网络注视点预测模型进行训练，以对所述训练组中所有数据进行一次训练作为一轮，在每轮训练完成后，以每轮训练完成后的所述深度卷积网络注视点预测模型对测试组数据进行测试，计算损失函数值，使用Adam优化算法更新并保存此轮训练后的所述深度卷积网络注视点预测模型参数；

S23：进行多轮训练，选择所述损失函数值最小的所述深度卷积网络注视点预测模型的参数，确定最终所述深度卷积网络注视点预测模型。

3.根据权利要求2所述的基于头部时序信号校正的眼动交互方法，其特征在于，所述连续n帧中，n为7。