[发明专利]基于视线追踪的老年残障人士照护需求识别方法

权利要求书

1.一种基于视线追踪的老年残障人士照护需求识别方法，通过计算用户视线在屏幕上的注视点位置识别用户照护需求，其特征在于：在老年残障人士的面部正前方设置显示器和摄像头，显示器和摄像头连接上位机，包括以下步骤：

步骤1，通过摄像头采集用户图像，并进行人脸检测，获取稳定的面部区域RGB图像；

步骤2，使用人脸特征点定位算法定位面部区域中的人脸特征点，根据特征点位置提取眼部图像，并计算人脸平均特征点；

步骤3，从眼部图像中计算虹膜精确定位中心点，将虹膜精确定位中心点和人脸平均特征点之间的偏移向量作为眼动特征，计算用户视线初始的注视点位置，具体过程如下：

步骤3.1，对RGB眼部图像，进行灰度化，得到眼部灰度图像，对眼部灰度图像进行二值化，获取眼部二值化图，对眼部二值化图进行腐蚀和膨胀，去除睫毛的干扰，获得虹膜二值化图；

步骤3.2，在虹膜二值化图中，获取虹膜区域的左右水平最长距离即最长水平线，上下垂直最长距离即最长垂直线，将最长水平线与最长垂直线的交点作为虹膜粗定位的中心；

步骤3.3，在眼部灰度图像中，以虹膜粗定位的中心为圆心，每隔角均匀向外发散星射线法，利用图像梯度计算每一条星射线上的虹膜边缘点，得到虹膜边缘点集P*；

步骤3.4，在P*中，采用RANSAC算法拟合虹膜椭圆模型，通过最小二乘法优化模型参数，得到最优的虹膜椭圆，该椭圆的圆心即为虹膜精确定位中心点；

步骤3.5，计算人脸平均特征点与虹膜精确定位中心点的偏移向量，得到眼动特征向量，利用该特征向量计算初始注视点位置；

步骤4，选择人脸特征点中的一部分特征点，采用头部姿态估计算法计算用户的头部旋转角度；

步骤5，利用头部旋转角度对初始注视点位置进行校正补偿，得到真实的注视点位置，通过真实注视点的坐标，实现老年残障人士的护理需求识别。

2.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于：所述摄像头为单目摄像头。

3.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤1的具体过程如下：

步骤1.1，采用摄像头拍摄用户上半身图像；

步骤1.2，采用级联分类器对用户上半身图像进行人脸检测，获取稳定的面部区域RGB图像。

4.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤2，使用人脸特征点定位算法定位人脸特征点，根据特征点位置提取眼部图像，并计算人脸平均特征点，具体过程如下：

步骤2.1，基于CLM模型定位面部区域中人脸的68个特征点位置；

步骤2.2，在上述68个特征点中，根据眼部的12个特征点，提取眼部区域；

步骤2.3，选择68个特征点中较为稳定的36个特征点，计算这些稳定的特征点的平均位置作为人脸平均特征点。

5.根据权利要求4所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，所述稳定的36个特征点不包括嘴巴区域、眼睛区域的特征点。

6.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤4，选择人脸特征点中的一部分特征点，采用头部姿态估计算法计算用户的头部旋转角度，具体过程如下：

步骤4.1，采用张定友法进行相机标定，得到相机的内参矩阵M1；

步骤4.2，采用EPnP算法求解用户头部旋转的角度。

7.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤5，利用头部旋转角度对初始注视点位置进行校正补偿，得到真实的注视点位置，具体过程如下：

步骤5.1，利用头部旋转角度对用户视线初始注视点坐标进行校正补偿，获得真实的注视点坐标；

步骤5.2，根据真实的注视点坐标所在显示器的区域，所述区域显示的需求即为用户需求。

8.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于：在显示器上通过文字、图像或两者结合表示用户需求。