[发明专利]一种基于集成化微小型头戴式系统的视线估计方法

权利要求书

1.一种视线估计方法，其特征在于，包括如下步骤：

步骤1、人头部前方设置广角摄像头，用于获取场景图像，并在眼前方设置头戴显示器上显示该图像，向人眼提供场景图像；头戴式显示器上方和下方分别设置第一近红外光源和第二近红外光源，用于分别在人眼角膜上投射一个光斑；头戴式显示器下方设置微距红外摄像头，用于拍摄人眼及角膜上光斑的图像；建立如下空间直角坐标系：定义与头戴显示器表面垂直并指向两眼球中心点的方向为x轴方向，x轴与头戴显示器表面交点为原点O；与显示器表面平行，并沿两个近红外光源连线向上为z轴，y轴由x轴和z轴根据右手螺旋定则确定；

步骤2、获得光斑1与光斑2像素距离与成像平面与坐标原点O距离之间的映射函数；

步骤3、调整头戴式显示器位置，使眼睛正对头戴式显示器屏幕，即眼球中心大致在x轴上；利用步骤2获得的映射函数解得2个光斑所在平面与头戴式显示器屏幕距离l_p1；根据解剖学眼球模型取眼球半径为标准值r_p，则得光斑所在平面与眼球中心距离l_p2：

其中，d_p为两个光斑间实际距离；则两眼球中心点坐标为(l_p1+l_p2,0,0)；

步骤4、利用微距红外摄像头内参数求解角度映射关系式：相机画面的水平方向上，设场景长度为w，对应微距红外摄像头水平方向视场角为α，摄像机水平方向分辨率为w_pixel；成像平面上像素长度e_{w_pixel}，对应场景平面中实际长度e_w，对应摄像机水平方向视场角为α_e，场景平面与镜头平面距离为d，得方程组：

解得由摄像机成像基本原理得代入α_e可得式(4)，即水平方向上角度映射函数F(e_{w_pixel})；

同理得竖直方向上角度映射函数F(e_{h_pixel})：

式中，β_e为目标图像竖直方向上像素长度e_{h_pixel}对应的角度，h_pixel为目标摄像机竖直方向分辨率，β为目标摄像机竖直方向视场角；

步骤5、将眼球光轴投影在xOz平面和xOy平面上，对眼球光轴位姿进行求解，具体为：在xOz平面内对眼球光轴投影进行求解：由于红外摄像头主轴在xOz平面内与x轴夹角为β₀；定义红外摄像头中心点为C点，其坐标为(0,0,z_c)；瞳孔中心对应视场角β₁；A点为经过C点出发平行于x轴的射线上任意一点；B点为红外摄像头光轴上一点；

根据相机拍摄的眼部图像中瞳孔中心与图像中心竖直方向上像素距离，利用竖直方向上角度映射函数F(e_{h_pixel})，得到夹角β₁大小；根据眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)及A点坐标，可得C、E两点长度l_CE和∠ACE大小，其中，E点为两眼球中心点，根据β₀、β₁、∠ACE可得∠ECP，其中，P点为两瞳孔中心点：

∠ECP＝β₀+β₁-∠ACE (6)

根据眼球解剖学模型可得E、P两点长度l_EP，由l_CE、l_EP、∠ECP可得∠CPE，进而得∠CEP：

∠CEP＝180°-∠ECP-∠CPE (8)

根据∠CEP大小以及∠CEO＝∠ACE，可得眼球光轴投影与x轴在xOz平面内夹角β_l：

β_l＝∠CEP-∠CEO (9)

步骤6、在xOz平面内对眼球光轴投影进行求解，具体为：

根据水平方向上角度映射函数F(e_{w_pixel})，确定瞳孔中心对应视场角α₁；根据眼球解剖学模型可得眼球与瞳孔距离标准值l_EP、眼球中心坐标(l_p1+l_p2,0,0)、微距红外摄像头坐标(0,0,z_c)可得l_CE，进而得到眼球光轴投影与x轴在xOy平面内夹角α_l：

α_l＝180°-α₁-∠CPE (11)

根据xOy平面内眼球光轴投影与x轴夹角为α_l、xOz平面内眼球光轴投影与x轴夹角β_l、眼球中心坐标(l_p1+l_p2,0,0)，确定眼球光轴位姿，眼球光轴与从两眼球中心出发、xOy平面投影与x轴夹角α_l、xOz平面投影与x轴夹角β_l的射线重合；

步骤7、进行眼球视轴求解，具体为：

根据眼球光轴位姿，得到眼球光轴与显示器屏幕交点G，设其坐标为(0,y_G,z_G)；进而得到摄像头视轴与眼球光轴的夹角Kappa在y轴、z轴上分量：

然后将Kappa_y、Kappa_z分别叠加在α_l、β_l上进行矫正，即得到实时的眼球视轴位姿。