[发明专利]基于情绪识别的人机交互方法及系统

说明书

本发明公开一种基于情绪识别的人机交互方法及系统，其中该方法包括：获取目标用户的人脸图像，并检测所述人脸图像中的人物面部动作；基于表情识别模型识别所检测人物面部动作对应的面部表情，其中所述表情识别模型是依据训练面部动作和对应的训练面部表情经训练而成的；根据所识别的面部表情，确定所述目标用户的人物情绪；从情绪数据库中确定与所确定的人物情绪相对应的目标交互信息，其中所述情绪数据库中预存储有多个情绪和相对应的交互信息；控制执行所述目标交互信息所对应的人机交互动作。由此，在人机交互服务的内容能够照顾到用户情绪，从而提高并改善人机交互服务体验。

技术领域

本发明属于智能化人机交互技术领域，尤其涉及一种基于情绪识别的人机交互方法及系统。

背景技术

随着城市化进程的不断加速，人民生活水平也在不断提升，人们对于人机交互服务的精准性提出了更多的要求，尤其是目前的人机交互技术(例如siri、百度度秘机器人等)无法实现在人们情绪高昂或低落时提供个性化的人机交互服务。

目前的情绪识别技术还仅是停留在基于生理信号来完成情绪的识别，例如通过测量心率、皮肤阻抗、呼吸等生理信号来识别对应的情绪状态，或者通过磁共振、脑电波等检测中枢神经反应来识别对应的情绪状态。但是，对于基于非生理信号的情绪识别并改善人机交互体验目前还处于探索阶段。

因此，如何透过表层的识别去进行深层的情绪认识和理解，进而优化改善人机交互服务的体验，是目前业界所亟待解决的技术难题。

发明内容

本发明实施例提供一种基于情绪识别的人机交互方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种基于情绪识别的人机交互方法，包括：获取目标用户的人脸图像，并检测所述人脸图像中的人物面部动作；基于表情识别模型识别所检测人物面部动作对应的面部表情，其中所述表情识别模型是依据训练面部动作和对应的训练面部表情经训练而成的；根据所识别的面部表情，确定所述目标用户的人物情绪；从情绪数据库中确定与所确定的人物情绪相对应的目标交互信息，其中所述情绪数据库中预存储有多个情绪和相对应的交互信息；控制执行所述目标交互信息所对应的人机交互动作。

第二方面，本发明实施例提供一种基于情绪识别的人机交互系统，包括：面部动作检测程序模块，用于获取目标用户的人脸图像，并检测所述人脸图像中的人物面部动作；面部表情识别程序模块，用于基于表情识别模型识别所检测人物面部动作对应的面部表情，其中所述表情识别模型是依据训练面部动作和对应的训练面部表情经训练而成的；情绪确定程序模块，用于根据所识别的面部表情，确定所述目标用户的人物情绪；交互信息确定程序模块，用于从情绪数据库中确定与所确定的人物情绪相对应的目标交互信息，其中所述情绪数据库中预存储有多个情绪和相对应的交互信息；人机交互执行程序模块，用于控制执行所述目标交互信息所对应的人机交互动作。

第三方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。

第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明实施例的有益效果在于：将基于人脸图像的非接触情绪识别技术应用在人机交互处理过程中，其中通过检测目标用户的人脸图像中的人物面部动作，应用经训练的神经网络模型识别该人物面部动作所对应的面部表情，继而确定目标用户的人物情绪，从情绪数据库中调用对应于所确定的人物情绪的目标交互信息，并执行该目标交互信息。由此，在人机交互过程中所输出的目标交互信息是对应于所识别出的目标用户的情绪的，使得人机交互服务的内容能够照顾到用户情绪，从而提高并改善人机交互服务体验。

附图说明