[发明专利]一种面向自动驾驶智能座舱的多模态人机交互系统

权利要求书

1.一种面向自动驾驶智能座舱的多模态人机交互系统，包括座舱，其特征在于：所述座舱内包括座椅组件、显示屏(1)、音响模块和控制模块，所述显示屏(1)上设置有摄像模块，所述座椅组件用以为驾驶人员和乘客提供座位；

所述音响模块包括扬声器单元(21)，所述扬声器单元(21)用以播放音乐或提示语音；

所述控制模块包括用户数据库(31)和调取单元(32)，所述用户数据库(31)用以存储预设的驾驶人员面部数据以及预设的偏好数据，预设的驾驶人员面部数据与预设的偏好数据一一对应，预设的偏好数据包括歌单，所述调取单元(32)用以调取所述用户数据库(31)中的预设的偏好数据的歌单；

所述摄像模块包括人脸识别单元(41)、目标状态识别单元(42)和人体距离计算单元(43)，当驾驶人员坐在所述座椅组件上时，所述人脸识别单元(41)识别驾驶人员面部，并生成实际驾驶人员面部数据，所述人体距离计算单元(43)用以分别计算驾驶人员面部和乘客面部至所述显示屏(1)之间距离并分别生成对应的距离数值；

所述控制模块配置有识别驾驶人员策略，所述识别驾驶人员策略：所述人脸识别单元(41)将实际驾驶人员面部数据和预设的驾驶人员面部数据作比对，若实际驾驶人员的面部数据与所述用户数据库(31)中预设的驾驶人员面部数据相匹配则生成调取指令，所述调取单元(32)根据调取指令调取对应的预设的偏好数据中的歌单显示在显示屏(1)上；

所述控制模块配置有目标状态识别策略，所述目标状态识别策略：所述目标识别单元识别驾驶人员面部状态并与预设的驾驶人休息时的面部状态做比对，并生成面部状态重合度，若面部状态重合度大于预设驾驶人员休息时的面部状态重合阈值时则判定驾驶人员正在休息，关闭所述显示屏(1)；

所述控制模块配置有距离提醒策略，所述距离提醒策略：所述距离计算单元将距离数值与预设的距离阈值做比对，若距离数值小于预设的距离阈值生成提醒保持距离指令，所述扬声器单元(21)根据提醒保持距离指令发出提醒保持距离语音。

2.根据权利要求1所述的一种面向自动驾驶智能座舱的多模态人机交互系统，其特征在于：所述摄像模块还包括手部姿势估计单元(44)，所述手部姿势估计单元(44)包括若干个预设的手势，且每个预设的手势对应一个手势指令，所述手部姿势估计单元(44)用以识别驾驶人员的手势对应的预设的手势，并调取对应的手势指令，通过手势指令来控制所述扬声器单元(21)进行播放操作，所述播放操作包括有，增大播放音量、减小播放音量、播放上一首歌曲、播放下一首歌曲或视频播放进度。

3.根据权利要求1所述的一种面向自动驾驶智能座舱的多模态人机交互系统，其特征在于：所述音响模块包括语音唤醒单元(22)、语音转写单元(23)、语音交互单元(24)和语音控制单元(25)，所述语音唤醒单元(22)用以根据预设的唤醒关键词来启动所述语音转写单元(23)，所述语音转写单元(23)用以识别驾驶人员说的话作为指令话语，并将所述指令话语转化成文字指令显示在所述显示屏(1)上，所述语音交互单元(24)根据所述文字指令通过所述扬声器单元(21)发出预设的反馈语音；

所述语音控制单元(25)用以根据文字指令生成控制指令，所述控制指令包括播放视频指令和播放音乐指令，所述显示屏(1)根据播放视频指令在所述显示屏(1)上播放视频，所述显示屏(1)根据播放音乐指令播放所述显示屏(1)上显示的歌单，并通过扬声器单元(21)播放。