[发明专利]基于眼动跟踪的虚拟现实交互方法及装置

摘要

本发明涉及一种基于眼动跟踪的虚拟现实交互方法及装置，通过测量眼睛的视觉注意力焦点的位置实现对眼球运动的实时追踪，其采用红外光源和红外摄像头进行眼动信息采集，通过追踪和计算眼部图像中瞳孔的中心位置来测量瞳孔的位置，建立瞳孔的运动轨迹；此外，本发明的基于眼动跟踪的虚拟现实交互装置，其能够通过监测瞳孔的变化，实时监测使用者的生理或认知状态以及情绪变化，例如，惊吓、刺激等反应，并且，本发明能够监控眼动轨迹和瞳孔的变化，例如，扩张或缩小的相应程度，反馈至主控模块。

主权项

1.一种眼动跟踪的虚拟现实交互方法，其特征在于，其具体步骤如下：/nS1：对屏幕中的图像进行网格划分，预设该图像的坐标点为(x_si，y_si)，预先设定眼动跟踪装置中红外光源发生器的发射频率f₁，所述红外光源发生器在工作过程中连续对操作人员眼部进行照射；摄像头采集到的左眼的瞳孔坐标为(x_li，y_li)，摄像头采集到的右眼的瞳孔坐标为(y_ri，y_ri)；/nS2：选取屏幕的中心点(x_s0，y_s0)，注视显示器的屏幕中心点持续第四预设时间t₄，确定瞳距值d₀以及各瞳孔的基准坐标原点，其中左眼瞳孔的基准坐标(x_l0，y_l0)，右眼瞳孔的基准坐标为(x_r0,y_r0)；/nS3：根据S2中获得各瞳孔的基准坐标以及瞳距值d₀，通过瞳距调节装置带动屈光度调节装置进行调节；通过屏幕中的选取的固定注视点，所述固定注视点的数量为N个，通过多项式拟合，建立屏幕中的坐标系与红外摄像头采集到的瞳孔坐标的映射关系；/nS4：确定瞳孔在基准坐标下的瞳孔边界，得到各瞳孔面积s₀，得到正常情绪下瞳孔的参数；/nS5：通过眼动跟踪装置连续获取各t_i时刻眼睛运动的红外图像并将所采集到的红外图像发送至主机；/n所述主机根据所述红外图像，获取当前时刻下对应的瞳孔的实际位置(x_l，y_l)和(x_r,y_r)；确定瞳孔运动轨迹以及瞳孔停留时间，得到眼睛运动模式；/n根据左瞳孔位置信息得到左眼的注视点坐标(x_sl，y_sl)，/n /n根据右瞳孔位置信息得到右眼的注视点坐标(x_sr，y_sr)，/n /n其中，(x_l，y_l)为当前时刻的左眼的瞳孔的实际位置；(x_r,y_r)为当前时刻下右眼的瞳孔的实际位置；各瞳孔的实际位置为通过红外摄像头采集到的瞳孔的位置；其中(x_li，y_li)为第i个固定注视点时左眼瞳孔的实际坐标；(x_ri，y_ri)为第i个固定注视点时右眼瞳孔的实际坐标；其中1≤i≤N；/n当前t_i时刻下注视点的坐标(x_s，y_s)如下：/n(x_s，y_s)＝[ρ_l·(x_sl，y_sl)+ρ_r·(x_sr，y_sr)]/2/n其中，ρ_l，ρ_r∈(0，1)，ρ_l+ρ_r＝1，ρ_l为第一加权系数，ρ_r为第二加权系数；/nS6：瞳孔停留时间超过第二预设时间t₂，则确定眼睛的焦点移动至该注视点；主机根据所述焦点控制显示器，将显示器屏幕中的图像重新进行显示；/nS7：根据第三预设时间t₃内所述红外摄像头中连续拍到的瞳孔的个数n，确定眨眼频率f₂＝n/t₃；/nS8：根据眨眼频率f₂，进行注意力等级判断：/n当眨眼频率f₂高于10次/分钟时，判定为操作人员疲劳；或当每次持续闭眼时间超过1s，判定为操作人员疲劳；/n否则，判定为操作人员无疲劳出现；/nS9：根据S8中的注意力等级判断结果给出相应提示或预警，当无疲劳出现时，视为正常；当判定为疲劳时，进行疲劳预警。/n