[发明专利]基于情绪识别的人机交互方法及系统

权利要求书

1.一种基于情绪识别的人机交互方法，包括：

获取目标用户的人脸图像，并检测所述人脸图像中的人物面部动作；

基于表情识别模型识别所检测人物面部动作对应的面部表情，其中所述表情识别模型是依据训练面部动作和对应的训练面部表情经训练而成的；

根据所识别的面部表情，确定所述目标用户的人物情绪；

从情绪数据库中确定与所确定的人物情绪相对应的目标交互信息，其中所述情绪数据库中预存储有多个情绪和相对应的交互信息；

控制执行所述目标交互信息所对应的人机交互动作。

2.根据权利要求1所述的方法，其中，在所述基于表情识别模型识别所检测人物面部动作对应的面部表情之前，该方法还包括：

针对所述表情识别模型的训练步骤，包括：

获取所述目标用户的多个训练人脸图像，其中所述多个训练人脸图像分别被预标注了对应的训练面部表情；

检测所述多个训练人脸图像所分别对应的多个训练面部动作；

根据所述训练人脸面部表情和所述训练面部动作，训练针对所述目标用户的表情识别模型。

3.根据权利要求1所述的方法，其中，所述获取目标用户的人脸图像，检测所述人脸图像中的人物面部动作包括：

基于摄像头采集场景图像，并从所述场景图像中提取出人脸图像；

检测所述人脸图像中的面部关键点，并基于所检测的面部关键点确定相应的人物面部动作。

4.根据权利要求1所述的方法，其中，所述从情绪数据库中确定与所确定的人物情绪相对应的目标交互信息包括：

获取所述目标用户的语音数据，并识别所述语音数据所对应的语义问题；

根据所识别的语义问题和所确定的人物情绪，从所述情绪数据库中确定相对应的目标交互信息，其中所述情绪数据库中存储有多个针对语义问题在不同情绪下所分别对应的不同交互信息。

5.根据权利要求4所述的方法，其中，所述获取目标用户的人脸图像包括：

基于所述语音数据所指示的回波信号，确定相对于所述目标用户的距离信息和方位信息；

根据所述方位信息和所述距离信息，控制调整相对于所述目标用户的距离和/或方位以采集关于所述目标用户的场景视频；

基于所采集的场景视频，确定关于所述目标用户的人脸图像。

6.根据权利要求1所述的方法，其中，所述根据所识别的面部表情，确定所述目标用户的人物情绪包括：

在采集所述场景视频之后，对所采集的场景视频进行欧拉影像放大；

从经欧拉影像放大的场景视频中提取动脉区域视频；

基于快速傅氏变换分析，计算所述动脉区域视频所指示的所述目标用户所对应的心律；以及

根据所识别的面部表情和所计算的心律，确定所述目标用户的人物情绪。

7.一种基于情绪识别的人机交互系统，包括：

面部动作检测程序模块，用于获取目标用户的人脸图像，并检测所述人脸图像中的人物面部动作；

面部表情识别程序模块，用于基于表情识别模型识别所检测人物面部动作对应的面部表情，其中所述表情识别模型是依据训练面部动作和对应的训练面部表情经训练而成的；

情绪确定程序模块，用于根据所识别的面部表情，确定所述目标用户的人物情绪；

交互信息确定程序模块，用于从情绪数据库中确定与所确定的人物情绪相对应的目标交互信息，其中所述情绪数据库中预存储有多个情绪和相对应的交互信息；

人机交互执行程序模块，用于控制执行所述目标交互信息所对应的人机交互动作。

8.根据权利要求7所述的系统，其中，该系统还包括：

语音识别程序模块，用于获取所述目标人物的语音数据，并识别所述语音数据所对应的语义问题；

其中，所述交互信息确定程序模块还用于根据所识别的语义问题和所确定的人物情绪，从所述情绪数据库中确定相对应的目标交互信息，其中所述情绪数据库中存储有多个针对语义问题在不同情绪下所分别对应的不同交互信息。