[发明专利]多模态智能情绪感知系统

说明书

技术领域

本发明涉及情绪识别技术领域，尤其涉及一种多模态智能情绪感知系统。

背景技术

目前的技术如下：

1.基于视觉和语音的智能性别、情绪识别检测系统及方法，该系统包括，基于图像的情绪和性别识别模块，用以根据人脸图像进行车内人员的情绪识别，以及根据人脸进行车内人员的性别识别；基于语音的情绪和性别识别模块，用以根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的性别识别；融合模块，用以将所述性别识别的结果进行匹配和情绪识别的结果进行融合，并发送到个性化智能语音交互系统；个性化智能语音交互系统，可进行语音交互。该发明通过融合图像和语音的识别结果，提升性别/情绪识别的精准度，通过个性化语音交互系统提升驾驶体验，提升驾驶安全性，通过语音交互，增加车载设备使用的乐趣和信息服务精准性。

2.一种用于智能机器人的情绪识别方法及系统，该系统包括:交互信息获取步骤，获取用户输入的多模态交互信息:交互信息解析步骤，对多模态交互信息进行解析，分别根据多模态交互信息确定出至少两种情绪信息，得到情绪信息集合；情绪识别步骤，根据情绪信息集合，确定出用户的当前情绪。相较于现有技术，本方法能够使得情绪识别结果更加准确可靠，这样也就可以避免在用户言行不一等情况下情绪识别结果错误的问题。

3.一种穿戴设备识别语义的方法与系统，该发明公开了一种穿戴设备识别语义的方法与系统。该方法通过获取用户发出的语音和发出语音时的生理数据参数；识别所述语音的文字，根据所述生理数据参数识别出用户情绪；通过所述文字和所述用户情绪识别出语义。本发明在识别语音语义过程中，将用户发出的语音与发出语音时用户的情绪相结合，能准确的识别语义，极大的提高了用户的体验。

目前最相近的已有技术方案是基于视觉和语音的智能性别、情绪识别检测系统及方法，该系统包括，基于图像的情绪和性别识别模块，用以根据人脸图像进行车内人员的情绪识别，以及根据人脸进行车内人员的性别识别；基于语音的情绪和性别识别模块，用以根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的性别识别；融合模块，用以将所述性别识别的结果进行匹配和情绪识别的结果进行融合，并发送到个性化智能语音交互系统；个性化智能语音交互系统，可进行语音交互。该发明通过融合图像和语音的识别结果，提升性别/情绪识别的精准度，通过个性化语音交互系统提升驾驶体验，提升驾驶安全性，通过语音交互，增加车载设备使用的乐趣和信息服务精准性。(专利名称：基于视觉和语音的智能性别、情绪识别检测系统及方法)。

但是目前技术存在如在缺陷：

1.集成度差：现有的技术采集的信号比较单一，测量多种信号需要连接多种不同的设备。不能做到多种信息的同时采集，即不能够感知受试者当前情绪状态下的多种能够表征情绪的信息。

2.准确性低：依靠单模态的信号不能准确地识别出真实的情绪，会出现表里不一的情况。譬如，一个人的表情信息有可能会受到主观因素的影响，容易伪装，此时仅仅依靠面部表情信息来感知一个人的情绪状态，得到的结果往往是相悖的。事实上一个人的情绪状态会通过多种信号表征出来，融合多模态信息进行情绪感知所得结果才会更加客观、精确。而这也正是现有技术中所缺少的。

3.忽略了情绪强度的测量：现有的技术往往只注重于情绪类型的识别，而忽略了情绪强度的测量。在不同的情境下，同一种情绪类型的情绪强度会有不同。情绪的变化不仅仅是情绪类型的转换，也包括情绪强度的变化。忽略了情绪强度的测量将不能够对情绪的变化做到实时精确的感知。

4.忽略了人体行为对情绪感知的影响：现有技术多是利用主观判断、表情信息、语音信息等来识别情绪，而忽略了人体行为信息与情绪的映射关系。比如，当人体的上臂伸展程度较大时，可推断该人当前的情绪状态应为积极的。而当一个人的上臂摆动幅度比较大并且重心前移的时候，可推断该人当前的情绪状态是恐惧的。事实上不同的人体行为在一定程度上也表征着不同的情绪。

5.忽略了生理信号对情绪感知的影响：现有技术大都忽略了生理信号对情绪感知的影响。现有技术中的基于主观判断、面部表情以及语音信息的情绪识别简单直观，测量简单，但是其结果往往受主观因素影响，容易伪装，有时不能够真实地反应受试者当时的情绪状态。而生理信号的变化只受人的自主神经系统和内分泌系统支配，不受人的主观控制，因而采用生理信号进行情绪感知得到的结果更加客观，相对精确。

发明内容