[发明专利]驾驶员监视和响应系统

权利要求书

1.一种评估引擎，其具有两个或更多个模块以监视车辆驾驶员，所述评估引擎包括：

驾驶员困倦模块，其被配置为分析所述驾驶员的被监视特征以能够识别所述车辆的所述驾驶员的两个或更多个困倦水平；

面部分析模块，其被配置为能够执行所述车辆的所述驾驶员的i)面部跟踪、ii)眼睛移动和iii)眼睛眨眼跟踪中的至少两个，以辅助检测所述车辆的所述驾驶员的所述困倦水平，其中所述面部分析模块的输出分析被提供给所述驾驶员困倦模块；

传感器接口，其位于所述两个或更多个模块以及一个或更多个传感器之间，所述两个或更多个模块包括所述面部分析模块和所述驾驶员困倦模块，其中所述传感器接口被配置为从位于所述车辆中的所述一个或更多个传感器接收输入以监视所述车辆的所述驾驶员，所述一个或更多个传感器包括i)一个或更多个相机以及ii)与包含麦克风的语音用户接口耦合的运动感测设备；

其中所述驾驶员困倦模块被配置为利用所述面部分析模块的所述输出，基于观察到的所述驾驶员的肢体语言和面部分析中的至少一个来评估所述驾驶员的困倦，以当所述驾驶员出现这些状态时，对所述车辆的所述驾驶员的所述两个或更多个困倦水平进行检测和分级，其中所述驾驶员的所述两个或更多个困倦水平包括所述驾驶员的第一困倦水平，所述第一困倦水平是轻微困倦水平；以及

驾驶员辅助模块，其被配置为基于来自所述驾驶员困倦模块的输出，尝试将所述驾驶员维持在从由以下各项组成的群组中选择的水平：i)在非困倦水平，ii)处于或低于所述驾驶员的所述第一困倦水平，以及iii)两者的任何组合；并且，当所述驾驶员未至少处于或低于所述驾驶员的所述第一困倦水平时，所述驾驶员辅助模块被配置为向所述驾驶员提供一个或更多个正辅助机制以尝试将所述驾驶员的水平改变到以下水平：i)所述驾驶员处于所述非困倦水平，ii)所述驾驶员的困倦水平降低到较低的困倦水平，以及iii)两者的任何组合，其中所述驾驶员辅助模块被进一步配置为尝试使用扬声器和所述麦克风与所述驾驶员进行关于一个或更多个文档摘要的双向会话，以试图使所述驾驶员恢复到所述非困倦水平或至少所述第一困倦水平。

2.根据权利要求1所述的评估引擎，其中所述驾驶员困倦模块被配置为集成来自以下的多模态分析：i)所述传感器和ii)被训练以检测所述驾驶员的困倦指标的一个或更多个驾驶员困倦机器学习模型或者其中编码有指示所述驾驶员的困倦的规则的基于规则的模型，其中所述驾驶员困倦模块集成对以下中的至少一个的所述多模态分析：i)用于所述面部跟踪的面部表情分析，ii)用于所述眼睛移动的驾驶员的注视行为分析，iii)用于所述眼睛眨眼跟踪的眼睛眨眼轮廓和分析，以及iv)眼睛闭合模式分析。

3.根据权利要求2所述的评估引擎，其中所述一个或更多个驾驶员困倦机器学习模型被训练以检测所述驾驶员的困倦指标，所述一个或更多个驾驶员困倦机器学习模型包括i)通用困倦水平机器学习模型，其用于分析所述驾驶员的所述多模态分析以识别所述车辆的所述驾驶员的所述两个或更多个困倦水平，以及ii)用户个性化困倦水平机器学习模型，其针对特定驾驶员的任何细节被训练以识别所述驾驶员的所述两个或更多个困倦水平。

4.根据权利要求2所述的评估引擎，其中所述一个或更多个驾驶员困倦机器学习模型利用地面实况相关性和深度学习机器学习算法来训练所述模型，并且其中所述一个或更多个驾驶员困倦机器学习模型使用困倦水平分级方案，所述困倦水平分级方案具有至少三个或更多个不同的所述驾驶员困倦水平，并且

一旦训练了所述一个或更多个驾驶员困倦机器学习模型，当所述驾驶员正在操作所述车辆时，所述一个或更多个驾驶员困倦机器学习模型就被用于分析来自所述传感器的实时多模态传感器输入，以产生包括特定于此驾驶员的当前困倦水平估计的输出。

5.根据权利要求1所述的评估引擎，其中所述传感器接口被配置为从至少三个传感器接收多模态传感器输入，所述至少三个传感器包括：i)与包括麦克风的所述语音用户接口耦合的所述运动感测设备，ii)高分辨率红外相机，其耦合到所述车辆中的一个或更多个红外光源，所述红外光源定位成狭窄地聚焦在所述驾驶员的面部上，以及iii)广角镜头相机，其定位用于捕捉所述驾驶员的头部和上半身的视图。