[发明专利]基于深度相机的眼控辅助输入方法

权利要求书

1.一种基于深度相机的眼控辅助输入方法，其特征在于，包括：

将Kinect摄像机固定安装于计算机显示器的正上方，通过Kinect摄像机对屏幕前的用户进行拍摄，得到用户图像；

使用基于AMM模型的人脸识别算法获取用户图像中的人脸区域；

在人脸区域中使用级联分类器与Haar-likee特征相结合的方法获取眼部区域，并通过区域生长的方式缩小眼部区域的范围，得到最终的人眼区域；

在人眼区域中使用星射线法确定瞳孔中心点坐标；

从人脸区域中提取多个特征点，由Kinect摄像机直接获取各个特征点的深度信息；

将瞳孔中心点分别与左右眼角坐标进行连线，分别计算左右眼角与瞳孔中心的偏移量，得到眼动偏移量；

利用人脸区域中的特征点，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，获得头部姿态；

通过多组用户在多种不同姿态下注视多组坐标已知的位置点，分别获取用户的眼动偏移量以及头部姿态与屏幕坐标之间的多组对应数据；将多组对应数据输入训练神经网络，得到网络模型；

使用训练所得的网络模型，预测注视点的位置坐标；

将注视点的位置坐标传递给鼠标控制函数，控制鼠标移动到注视点所在位置，敲击空格键实现鼠标左键的点击选择需要的字词。

2.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，通过区域生长的方式缩小眼部区域的范围，具体包括：

步骤1：对眼部区域的图像顺序扫描，寻找第一个没有归属的像素，设所述像素的坐标为(x₀,y₀)；

步骤2：以(x₀,y₀)为中心，考虑(x₀,y₀)的4邻域像素(x,y)，若(x₀,y₀)满足生长准则，将(x,y)与(x₀,y₀)在同一区域内合并，同时将(x,y)压入堆栈；

步骤3：从堆栈中取出一个像素，将取出的像素作为(x₀,y₀)，返回到步骤2；

步骤4：直至堆栈为空时，返回到步骤1；

步骤5：重复步骤1至步骤4，直到眼部区域的图像中每个点都有归属时，生长结束。

3.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，在人眼区域中使用星射线法确定瞳孔中心点坐标，具体包括：

使用hough圆检测算法初步定位虹膜的位置，获取虹膜中心初始坐标；

以虹膜中心初始坐标为原点截取20×20的区域作为人眼的虹膜区域；

从虹膜中心进行边界的跟踪，采用改进的星射线法确定瞳孔的边缘，

射线的角度区域限制在[-70°,60°]和[120°,250°]内，每隔5度向四周发散射线，根据每条射线经过的像素,搜索出具有最大梯度值的像素作为瞳孔的边缘点，得到的边缘点集合；

使用最小二乘法的椭圆拟合拟合边界点，椭圆拟合方程为：

F(x，y)＝Ax²+Bxy+Cy²+Dx+Ey+F＝0，B²-4AC＜0；

瞳孔中心点坐标为：

4.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，眼动偏移量的获取过程，具体包括：

左内眼角坐标为A(a_A，b_A，c_A)，右眼角坐标为B(a_B，b_B，c_B)，虹膜中心坐标为P(a_p，b_p，c_p)；

左眼角与虹膜中心的偏移向量为：

右眼角与虹膜中心的偏移向量：

将计算得到的左眼角与虹膜中心的偏移向量以及右眼角与虹膜中心的偏移向量作为眼动偏移量。

5.根据权利要求1所述的一种基于深度相机的眼控辅助输入方法，其特征在于，使用ICP算法求取头部运动的旋转矩阵和平移矩阵，具体包括：

步骤1：设人脸区域中的特征点集合为X{x₁,x₂,x₃,x₄,x₅.........x₅₄}，通用3D脸部标准模型中特征点集合为P{p₁,p₂,p₃,p₄,p₅.........p₅₄}，且集合X与集合P中的点相互对应；目标函数为：

式中，R为旋转矩阵，t为平移矩阵，N_p为特征点的数目，i为特征点的序号；

步骤2：计算集合P中的每一个点在集合X中的对应近点；

步骤3：分别计算使所述对应近点对平均距离最小的刚体变换，求得平移参数和旋转参数；

步骤4：将求得的平移参数和旋转参数代入集合X，得到新的变换点集；

步骤5：重复步骤4进行迭代计算，直至新的变换点集与参考点集满足两点集的平均距离小于预设的阈值时停止，求取此时的旋转矩阵R以及平移矩阵T。