[发明专利]一种基于睡意程度的服务机器人主动服务方法

权利要求书

1.一种基于睡意程度的服务机器人主动服务方法，其特征在于：包括以下步骤，

A1：使用PERCLOS指标来判定用户的睡意程度；

A2：得到用户睡意程度以及从开始到产生所述睡意程度的时间长短与用户需求之间的模糊关系；

A3：机器人根据所述模糊关系，主动为用户提供相应的服务；

其中，t_i表示人眼闭合的持续时间，n代表在时间窗为t_i内产生的人闭眼的次数，T是整个时间窗的长度；

从视频段落中提取人脸图像，从所述人脸图像中获取人眼位置，基于获取的人眼位置找到人眼，基于水平投影方法来判断人眼状态，所述人眼状态包括在时间窗为T的时间内人闭眼的次数，若基于水平投影方法不能确定所述人眼状态，则采用Hough查找圆法来判断所述人眼状态；

找到人眼位置的方法包括，

B1：提取视频段落中的人脸图像，将所述人脸图像输入一级卷积神经网络，得到第一次双眼坐标，将所述人脸图像裁剪成包含左眼的左半部分和包含右眼的右半部分后分别输入所述一级卷积神经网络，得到第一层左眼坐标和第一层右眼坐标，对所述第一层左眼坐标、第一层右眼坐标和第一次双眼坐标求平均得到第一层双眼坐标；

B2：以所述第一层双眼坐标为中心裁剪所述人脸图像构成第一包围框，将所述第一包围框输入二级卷积神经网络得到第二次双眼坐标；以所述第一层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第二包围框，将所述第二包围框分别输入到两个二级卷积神经网络得到两个第二层左眼坐标；以所述第一层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第三包围框，将所述第三包围框分别输入到两个二级卷积神经网络得到两个第二层右眼坐标；对所述第二次双眼坐标、两第二层左眼坐标和两第二层右眼坐标求平均得到第二层双眼坐标；

B3：以所述第二层双眼坐标为中心裁剪所述人脸图像构成第四包围框，将所述第四包围框输入三级卷积神经网络得到第三次双眼坐标；以所述第二层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第五包围框，将所述第五包围框输入到三级卷积神经网络得到第三层左眼坐标；以所述第二层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第六包围框，将所述第六包围框输入到三级卷积神经网络得到第三层右眼坐标；对所述第三次双眼坐标、第三层左眼坐标和第三层右眼坐标求平均得到第三层双眼坐标；

B4：以所述第三层双眼坐标中的左眼所对应的坐标为中心裁剪所述人脸图像构成第七包围框，将所述第七包围框输入到四级卷积神经网络得到第四层左眼坐标；以所述第三层双眼坐标中的右眼所对应的坐标为中心裁剪所述人脸图像构成第八包围框，将所述第八包围框输入到四级卷积神经网络得到第四层右眼坐标；对所述第四层左眼坐标和第四层右眼坐标叠加得到第四层双眼坐标，即人眼的位置。

2.如权利要求1所述的基于睡意程度的服务机器人主动服务方法，其特征在于：所述睡意程度包括清醒、疲倦和非常疲倦，所述清醒和所述疲倦的临界值为第一阈值，所述疲倦与所述非常疲倦的临界值为第二阈值，将PERCLOS值大于第二阈值的用户的睡意程度判定为非常疲倦，将PERCLOS值小于第一阈值的用户的睡意程度判定为清醒，将PERCLOS值处于第一阈值和第二阈值之间的用户的睡意程度判定为疲倦。

3.如权利要求2所述的基于睡意程度的服务机器人主动服务方法，其特征在于：选取PERCLOS值不同、时间窗T相同的若干段视频段落，所述若干段视频段落对应的PERCLOS值为从0至0.95逐渐递增的若干离散数据，根据睡意程度的特征对所述若干段视频段落的睡意程度进行评价，选取PERCLOS值最大、睡意程度为清醒的视频段落与PERCLOS值最小、睡意程度为疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第一阈值，选取PERCLOS值最大、睡意程度为疲倦的视频段落与PERCLOS值最小、睡意程度为非常疲倦的视频段落，将它们对应的PERCLOS值平均后得到所述第二阈值。

4.如权利要求1所述的基于睡意程度的服务机器人主动服务方法，其特征在于：在采用水平投影方法来判断人眼状态前，先将所述人眼转化为灰度图像；在B1中，将所述视频段落输入至libfacedetect人脸检测器进行人脸识别得到原始人脸图像，然后将所述原始人脸图像转化为灰度图像得到所述人脸图像。