[发明专利]基于视觉和语音的智能性别、情绪识别检测系统及方法

权利要求书

1.基于视觉和语音的智能性别、情绪识别检测系统，其特征在于，包括，

基于图像的情绪和性别识别模块，用以根据人脸图像进行车内人员的情 绪识别，以及根据人脸进行车内人员的性别识别；

基于语音的情绪和性别识别模块，用以根据人的语音进行车内人员的情 绪识别，以及根据语音进行车内人员的性别识别；

融合模块，用以将所述性别识别的结果进行匹配并发送到个性化智能语 音交互系统，以及用以将所述情绪识别的结果进行融合并发送到个性化智能 语音交互系统；

个性化智能语音交互系统，根据接收到的匹配结果和融合结果进行语音 交互。

2.根据权利要求1所述的基于视觉和语音的智能性别、情绪识别检测系 统，其特征在于，还包括采集模块，所述采集模块包括图像采集装置和声音 采集装置，所述图像采集装置用以，采集车内的实时图像信号，并将所述图 像信号按照视频流发送至基于图像的情绪和性别识别模块，所述声音采集装 置用以，采集车内的实时声音信号，并将所述声音信号发送至基于语音的情 绪和性别识别模块。

3.根据权利要求1或2所述的基于视觉和语音的智能性别、情绪识别检 测系统，其特征在于，所述个性化智能语音交互系统还包括，消息单元、通 信单元、音乐单元、导航单元、CAN接口，

所述消息单元，用以推送车辆保养、车辆出租消息，

所述通信单元，用以与外部设备进行蓝牙或者WI-FI连接，

所述音乐单元，用以提供本地或者线上音乐，

所述导航单元，用以提供地图接入服务，

所述CAN接口，用以提供与机车连接的CAN总线通信。

4.根据权利要求1或2所述的基于视觉和语音的智能性别、情绪识别检 测系统，其特征在于，所述基于图像的情绪和性别识别模块还用于，进行人 脸的离线训练和人脸的在线运行，所述离线训练使用人脸数据库训练人脸检 测器、同时在人脸上标定标记点，根据所述人脸标记点训练标记点拟合器， 以及，通过人脸标记点和情绪和性别的关系训练情绪和性别分类器；所述人 脸的在线运行，通过在图像中检测人脸，然后拟合人脸上的标记点，并根据 人脸标记点判断当前驾驶员的性别和情绪，最后给出相应的分类置信度。

5.根据权利要求1或2所述的基于视觉和语音的智能性别、情绪识别检 测系统，其特征在于，所述基于语音的情绪和性别识别模块还用于，进行人 声的离线训练和人声的在线运行，所述人声的离线训练，使用语音数据库训 练人声检测器，同时训练语音特征向量提取模型用于从人声中提取特征向量 的声音，采用已标定好的语音特征向量以及性别和情绪的训练集训练性别和 情绪分类器，所述人声的在线运行，通过在输入的声音流中检测人声数据， 并从人声数据中提取语音特征向量，最后使用分类器从语音特征向量分辨当 前驾驶员的性别和情绪，并给出语音识别的置信度。

6.根据权利要求1或2所述的基于视觉和语音的智能性别、情绪识别检 测系统，其特征在于，所述个性化智能语音交互系统，还用以根据所述基于 图像的性别、情绪识别结果及其置信度和基于语音的性别、情绪识别结果及 其置信度，综合判断当前驾驶员的性别和情绪，并根据当前驾驶员的情绪选 择设置的模式进行语音交互。

7.根据权利要求6所述的基于视觉和语音的智能性别、情绪识别检测系 统，其特征在于，所述个性化智能语音交互系统还包括个性化智能语音交互 数据库，用于储存语音交互模式信息。

8.基于视觉和语音的智能性别、情绪识别检测方法，其特征在于包括，

根据人脸图像进行车内人员的情绪识别，以及根据人脸进行车内人员的 性别识别；

根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的 性别识别；

用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系 统，以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互 系统；

根据接收到的匹配结果和融合结果进行语音交互。