[发明专利]一种基于AI深度学习的多模态情感分析方法及其系统

说明书

本发明提供了一种基于AI深度学习的多模态情感分析方法，所述方法为：步骤S1、对不同类型的用户进行情感模型的建立；步骤S2、通过相机/摄像头捕捉学生上课反应以及手势动作，学生带上传感器，通过传感器采集生理数据；步骤S3、将获取的图片数据和生理数据输入到计算机，通过多模态情感分析学生的情感变化，来得到学生情感变化要表达的意图，来确定学生注意力是否转移；步骤S4、收到反馈报告，得出学生学习兴趣的情况；本发明能根据学生兴趣情况对教学方案做出调整，个性化作业布置和辅导，满足学生的需求。

技术领域

本发明涉及计算机通讯技术领域，特别是一种基于AI深度学习的多模态情感分析方法及其系统。

背景技术

从心理学的角度看，兴趣是人对客观事物的一种积极的认识倾向，是一种复杂的个性品质，它推动人去探求新的知识，发展新的能力。在学生学习过程中，兴趣是十分重要的。

微表情反映了人试图压抑与隐藏的真实情感，是一种有效的非言语线索。在临床领域，临床心理学家或许可以仔细观察患者，发现其微表情，了解患者对特定事或人的真正态度和想法，从而对症治疗，缩短治疗时间；在司法领域，法官或许可以藉由人脸上的微表情，判断人是否在撒谎：在安全领域，安全人员或许可以藉由微表情判断对方是否有攻击的意图，从而防患于未然。

现今，人脸识别在个人使用、商业和政府应用中都具有巨大潜力。这项技术还在不断进步和发展中，其应用越来越普及。现有的人物情感分析采用：1、面部图像识别技术/人脸识别技术；2、美国麻省理工学院计算机科学与人工智能实验室打造了用无线信号监测情绪的EQ-Radio；3、SoftBank Robotics NAO类人机器人；现有技术的缺点：在情感识别中，人的情感在表达时由生理、心理、表情和音调等多个模态信息共同组成，使用单模态进行情感识别时，由于情感表示信息不足容易导致一些情绪的识别率较差等。

发明内容

为克服上述问题，本发明的目的是提供一种基于AI深度学习的多模态情感分析方法，通过语音情感、视觉情感、肢体情感、生理指标情感进行情感分析，能更加准确地获得学生的学习兴趣。

本发明采用以下方案实现：一种基于AI深度学习的多模态情感分析方法，所述方法包括如下步骤：

步骤S1、对不同类型的用户进行情感模型的建立；

步骤S2、通过相机/摄像头捕捉学生上课反应以及手势动作，学生带上传感器，通过传感器采集生理数据；

步骤S3、将获取的图片数据和生理数据输入到计算机，通过多模态情感分析学生的情感变化，来得到学生情感变化要表达的意图，来确定学生注意力是否转移；

步骤S4、收到反馈报告，得出学生学习兴趣的情况。

进一步的，所述步骤S1进一步具体为：对不同类型的用户进行情感模型的建立，该不同类型的用户包括：用户操作方式、表情特点、态度喜好、认知风格、或者用户知识背景；通过收集人的生理特征和行为特征，以数学形式对情感进行定义，建立情感的数学分析模型，实现情感的合并运算和合成运算，根据情感的不同变化特征对情感进行分类，形成不同的情感模型，情感模型包括语音情感、视觉情感、肢体情感、生理指标情感。