[发明专利]一种驾驶员情绪识别方法和装置

权利要求书

1.一种驾驶员情绪识别方法，其特征在于，包括：

采集驾驶员的图像数据、驾驶员的语音数据以及驾驶车辆的行驶数据中的至少两种数据；

分别根据采集的多种数据，对驾驶员的情绪进行识别，得到每种数据类型下的情绪识别结果；

基于得到的每种数据类型下的情绪识别结果，按照设定的情绪判定策略，判定出驾驶员的情绪。

2.如权利要求1所述的方法，其特征在于，所述情绪识别结果包括：识别出的情绪类型及识别出该情绪类型的置信度。

3.如权利要求2所述的方法，其特征在于，所述基于得到的每种数据类型下的情绪识别结果，按照设定的情绪判定策略，判定出驾驶员的情绪，包括：

当至少两个情绪识别结果中的情绪类型相同且置信度分别大于等于设定的对应数据类型的第一情绪置信度阈值时，将所述至少两个情绪识别结果中的情绪类型作为最终识别出的驾驶员的情绪；

当各情绪识别结果中存在一个情绪识别结果的情绪类型的置信度大于等于设定的对应数据类型的第二情绪置信度阈值时，将该情绪识别结果中的情绪类型作为最终识别出的驾驶员的情绪；

其中，同一数据类型下的第一情绪置信度阈值小于第二情绪置信度阈值。

4.如权利要求2所述的方法，其特征在于，所述判定出驾驶员的情绪之后，还包括：根据预设的情绪类型的置信度与情绪类型级别的对应关系，得到最终识别出的驾驶员的情绪的情绪级别。

5.如权利要求1所述的方法，其特征在于，所述根据语音数据，对驾驶员的情绪进行识别，具体包括：提取语音数据中的声纹特征、以及识别所述语音数据中的语义，根据所述声纹特征和所述语义，对驾驶员的情绪进行识别。

6.如权利要求1至5任意一项所述的方法，其特征在于，还包括：

当采集到图像数据或者语音数据时，根据所述图像数据或者语音数据，识别出驾驶员的身份；当采集到图像数据和语音数据时，分别根据所述图像数据和语音数据，对驾驶员的身份进行识别，得到两种数据类型下的两个身份识别结果，并基于得到的两个身份识别结果，按照设定的身份判定策略，判定出驾驶员的身份。

7.如权利要求6所述的方法，其特征在于，所述身份识别结果包括：识别出的用户及识别出该用户的置信度；

所述基于得到的两个身份识别结果，按照设定的身份判定策略，判定出驾驶员的身份，包括：

当两个身份识别结果中识别出的用户相同且置信度分别大于等于设定的对应数据类型的第一身份置信度阈值时，以共同识别出的用户作为最终的用户身份识别结果；

当两个身份识别结果中有一个身份识别结果中识别出的用户的置信度大于等于设定的对应数据类型的第二身份置信度阈值时，以用户的置信度大于等于第二置信度身份阈值对应的用户，作为最终的用户身份识别结果；

其中，同一数据类型下的第一身份置信度阈值小于第二身份置信度阈值。

8.如权利要求6所述的方法，其特征在于，所述方法还包括：

利用得到的驾驶员的身份，在预先建立的各用户行为习惯模型中匹配出与该驾驶员对应的用户行为习惯模型，并将驾驶员的情绪信息输入到匹配的用户行为习惯模型中，以对驾驶员的状态和/或行为进行预判，并根据预判结果，主动提供与预判结果相匹配的服务。

9.如权利要求8所述的方法，其特征在于，所述根据预判结果，主动提供与预判结果相匹配的服务，具体包括：

确定与所述预判结果相匹配的服务，向用户发出是否需要所述服务的询问，并在确定出用户需要时，向用户提供所述服务。

10.如权利要求8或9所述的方法，其特征在于，向用户提供的与预判结果相匹配的服务，包括：内容服务和/或设备状态控制服务；所述设备状态控制服务包括：控制所述智能语音设备和/或与所述智能语音设备连接的设备到目标状态。

11.一种驾驶员情绪识别装置，其特征在于，包括：

信息采集模块，用于采集驾驶员的图像数据、驾驶员的语音数据以及驾驶车辆的行驶数据中的至少两种数据；

情绪识别模块，用于分别根据采集的多种数据，对驾驶员的情绪进行识别，得到每种数据类型下的情绪识别结果；

情绪判定模块，用于基于得到的每种数据类型下的情绪识别结果，按照设定的情绪判定策略，判定出驾驶员的情绪。