[发明专利]一种基于视线估计的注意力智能监督方法

摘要

本发明针对现有技术存在的问题，提出了一种基于视线估计的注意力智能监督方法，采用注视区域概念，并将注视区域划分为9个，通过采集不同采集对象对9个区域的注视图像的面部图片，并将眼部手动框选出来，同时标记注视区域，然后作为训练数据对设置的Yolo网络进行训练，得到一个基于Yolo网络的注视区域估计模型。最后，在使用中，实时采集用户面部图像送入训练好的基于Yolo网络的注视区域估计模型中，得到用户是否注视区域五的结果，并进一步判断是否注意力集中。本发明通过注视区域划分、通过眼部的虹膜、瞳孔位置来判断，这样对于设备的要求大大降低，降低了实现的成本，同时对使用者的使用位置没有要求，扩大了应用范围，方便推广使用。

主权项

一种基于视线估计的注意力智能监督方法，其特征在于，包括以下步骤：(1)、注视区域的划分将用户(使用者)前方的整个注视区域划分为了9块，学习交互机器人屏幕所在区域为区域五，把区域五设定为用户使用学习交互机器人进行学习的注意力集中区域；区域五的左上方为区域一、上方为区域二、右上方为区域三、左方为区域四、右方为区域六、左下方为区域七、下方为区域八、右下方为区域九；(2)、训练数据的采集2.1)、使用彩色摄像头采集训练数据，彩色摄像头位置固定在区域五中，采集对象(用户)的面部正对彩色摄像头，然后分别注视9个区域，每个注视区域采集相同数量的n张图片；2.2)、对不同采集对象都按照步骤2.1)进行图片采集，每个注视区域也采集n张图片；2.3)、将所有采集对象的采集图片按照注视区域进行归类，得到9个注视区域的训练数据；(3)、训练数据的标记对训练数据进行手动标记，标记内容包括两个方面：眼部位置的定位即眼部位于整张图片的什么位置，将眼部框选出来；眼部信息的类别即图片中框选出的眼部的信息(虹膜、瞳孔位置)对应划分的哪一个注视区域；标记过程简而言之就是为了告诉网络什么是眼，这样的眼的注视区域是几；(4)、注视区域估计模型的构建与训练采用Yolo网络作为注视区域估计模型，将Yolo网络中的GoogleNet网络的输入从224×224调整为了448×448，网络的初始卷积层从训练数据中提取特征，其他卷积层逐层进一步提取特征，最后的全连接层预测注视区域类别概率和边框；在激活函数的选取上，Yolo网络除最后一层使用逻辑激活函数外，其它层均是使用的ReLU(Rectified Linear Units，修正线性单元)；在训练过程中，选择Yolo网络的官方模型的神经元的参数作为初始值，保留该模型的前23层，在训练过程中，根据训练数据，通过YOLO模型得到的输出与标签的误差来修改最后3层的神经元的参数(最后一层卷积层，两层全连接层)，最后一层卷积层设置了70个过滤器；设置训练的迭代次数、学习率以及训练多少张图片更新一次权重，然后，将训练数据送入设置好的Yolo网络中，得到一个基于Yolo网络的注视区域估计模型。(5)、实时检测视线方向通过学习交互机器人上的彩色摄像头对用户面部图像进行实时采集，并将采集的图片作为输入，送入注视区域估计模型中，得到边框即眼部位置以及对应的注视区域类别概率；(6)、基于视线估计实现注意力检测当实时检测结果在一段时间内都不是区域五，则代表用户注意力已经离开屏幕一段时间，用户已经离开了学习的状态，按照用户的学习时间进行判断，如果用户的学习时间低于设定的阈值，提示用户集中注意力，直到用户注视区域回到区域五；如果用户的学习时间高于设定的阈值，提示用户休息，并记录休息时间，休息结束后继续检测。