[发明专利]一种基于AI深度学习的多模态情感分析方法及其系统

权利要求书

1.一种基于AI深度学习的多模态情感分析方法，其特征在于：所述方法包括如下步骤：

步骤S1、对不同类型的用户进行情感模型的建立；

步骤S2、通过相机/摄像头捕捉学生上课反应以及手势动作，学生带上传感器，通过传感器采集生理数据；

步骤S3、将获取的图片数据和生理数据输入到计算机，通过多模态情感分析学生的情感变化，来得到学生情感变化要表达的意图，来确定学生注意力是否转移；

步骤S4、收到反馈报告，得出学生学习兴趣的情况；

所述步骤S1具体为：对不同类型的用户进行情感模型的建立，所述不同类型包括：用户操作方式、表情特点、态度喜好、认知风格或者用户知识背景；通过收集人的生理特征和行为特征，以数学形式对情感进行定义，建立情感的数学分析模型，实现情感的合并运算和合成运算，根据情感的不同变化特征对情感进行分类，形成不同的情感模型，情感模型包括语音情感、视觉情感、肢体情感、生理指标情感；

所述通过传感器采集生理数据即通过传感器采集人的生理信号，最终识别出包含在信号中的情感；传感器包括了在头皮处将人的大脑产生的微弱的生物电信号收集、放大并记录的脑电帽或感应头环；通过电容灯光射向皮肤，透过皮肤组织反射回的光被光敏传感器接受并转换成电信号，再经过电信号转换成数字信号，再根据血液的吸光率得出心率的光学心率传感器；当人的机体受到外界刺激或者情绪状态发生变化时，人的神经系统的活动会引起皮肤内血管的舒张和收缩以及汗腺分泌变化，从而导致电阻发生改变的皮电反应传感器；通过多通道传感器获取到交互者当前情感状态下不同模态的情感信号，进行数据融合与决策，来判别出对应的情感类别属性；

所述通过多模态情感分析学生的情感变化，其中多模态情感中的语音情感由计算机自动识别输入语言的情感状态，由语音信号预处理和声学情感特征提取组成；要把各种具体模式的语言声调表情在时间构造、振幅构造、基频构造和共振峰构造方面的特点和分布规律进行测算和分析，并以此为基础或者模板，能识别出所有语言声调中所隐含的情感内容；

所述语音信号预处理，需要实现语音信号的采集，采用麦克风进行语音采集，预处理即包括预滤波、采样和量化、分帧、加窗、预加重、端点检测；

所述声学情感特征提取，分为语言学和非语言学特征，基于语言学的情感特征包含于语义信息中，语义信息为词汇、语法、语境和句法，非语言学特征就是基于声学的情感特征，其中声学情感特征提取有基频、共振峰、Mel频率倒数系数、非个性化特征、特征统计的方式；

所述通过多模态情感分析学生的情感变化，其中多模态情感中的视觉情感是利用计算机对人脸的表情信息进行特征提取分析，按照人的认知和思维方式加以归类和理解，对人脸信息中分析理解人的情绪和情感，也就是人脸表情识别系统框架，该人脸表情识别系统框架分为人脸检测定位获取、人脸表情特征提取、人脸表情特征分类；

所述人脸检测定位获取有三种，即基于人脸几何特征的方法、基于人脸肤色模型的方法和基于人脸统计理论的方法；其中基于人脸几何特征的方法又包括三种，一是基于先验知识的方法，该方法利用人类的灰度差异和对称性来制定相应准则检测人脸是否存在；二是基于特征不变的方法，该方法是检测眼睛、鼻子、嘴巴不变的特定特征来判断人脸的存在；三是基于模板的方法，该方法给定一个人脸模板，并确定其模板的值，通过对照的方法，如果模板匹配则检测出人脸，否则检测错误；基于人脸肤色模型的方法，通过建立相应的模型来描述，检测时首先根据被测图像像素与肤色模型的相似程度，结合空间相关性将人脸区域从背景中分割出来；然后对分割出的区域进行几何特征分析，确定与人脸特征的相关值，从而排除非人脸的似肤色区域，达到检测人脸的目的；基于人脸统计理论的方法，从整个人脸的角度出发，利用统计的原理，从众多图像中提出人脸共有的特征来进行人脸检测；描述人脸特征方法有子空间、支持向量机、隐马尔可夫模型、神经网络和迭代算法Adaboost；

所述人脸表情特征提取核心目标是提取人脸图像中可分性好的表情信息，同时达到数据降维的目的；

所述人脸表情特征分类核心目标是对得到的表情特征向量进行分类，得到表情所属的类别，该类别包括人脸运动单元AU组合或基本表情类别，基本表情类别包括表情识别和表情概述；分类表人脸表情特征方法有：线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型分类识别方法；

肢体情感，一个完整的手势识别系统包括三个部分和三个过程，三个部分分别是：采集部分、 分类部分和识别部分；三个过程分别是：分割过程、 跟踪过程和识别过程；采集部分就是用相机/摄像头捕捉学生上课反应，在多目的手势识别中，摄像头以一定的关系分布在用户前方；在单目的情况下，摄像头所在的平面应该和用户的手部运动所在的平面基本水平；识别部分包括了语法对应单位和相应的跟踪机制，通过分类得到的手部形状通过这里一一对应确定的语义和控制命令；分割过程包括了对得到的实时视频图像进行逐帧的手部分割，首先得到需要关注的区域，其次在对得到的区域进行细致分割，直到得到所需要的手指和手掌的形状；跟踪过程包括对手部的不断定位和跟踪，并估计下一帧手的位置；识别过程通过对之前的知识确定手势的意义， 并做出相应的反应；

生理指标情感，是通过传感器采集人的生理信号最终识别出包含在信号中的情感，生理信号包括有脑电信号、眼动信号、肌电信号、皮肤电信号、心电信号和呼吸信号类, 并且在采集之后进一步对信号进行预处理, 然后分析哪种生理信号模式和特定情感状态最密切。

2.一种基于AI深度学习的多模态情感分析系统，其特征在于：所述系统包括模型建立模块、数据采集模块、多模态情感分析模块、以及兴趣反馈模块；

所述模型建立模块，用于对不同类型的用户进行情感模型的建立；

所述数据采集模块，通过相机/摄像头捕捉学生上课反应以及手势动作，学生带上传感器，通过传感器采集生理数据；

所述多模态情感分析模块，将获取的图片数据和生理数据输入到计算机，通过多模态情感分析学生的情感变化，来得到学生情感变化要表达的意图，来确定学生注意力是否转移；

所述兴趣反馈模块，收到反馈报告，得出学生学习兴趣的情况；

所述模型建立模块的实现方式具体为：对不同类型的用户进行情感模型的建立，所述不同类型包括：用户操作方式、表情特点、态度喜好、认知风格或者用户知识背景；通过收集人的生理特征和行为特征，以数学形式对情感进行定义，建立情感的数学分析模型，实现情感的合并运算和合成运算，根据情感的不同变化特征对情感进行分类，形成不同的情感模型，情感模型包括语音情感、视觉情感、肢体情感、生理指标情感；

所述通过传感器采集生理数据即通过传感器采集人的生理信号，最终识别出包含在信号中的情感；传感器包括了在头皮处将人的大脑产生的微弱的生物电信号收集、放大并记录的脑电帽或感应头环；通过电容灯光射向皮肤，透过皮肤组织反射回的光被光敏传感器接受并转换成电信号，再经过电信号转换成数字信号，再根据血液的吸光率得出心率的光学心率传感器；当人的机体受到外界刺激或者情绪状态发生变化时，人的神经系统的活动会引起皮肤内血管的舒张和收缩以及汗腺分泌变化，从而导致电阻发生改变的皮电反应传感器；通过多通道传感器获取到交互者当前情感状态下不同模态的情感信号，进行数据融合与决策，来判别出对应的情感类别属性；

所述通过多模态情感分析学生的情感变化，其中多模态情感中的语音情感由计算机自动识别输入语言的情感状态，由语音信号预处理和声学情感特征提取组成；要把各种具体模式的语言声调表情在时间构造、振幅构造、基频构造和共振峰构造方面的特点和分布规律进行测算和分析，并以此为基础或者模板，能识别出所有语言声调中所隐含的情感内容；

所述语音信号预处理，需要实现语音信号的采集，采用麦克风进行语音采集，预处理即包括预滤波、采样和量化、分帧、加窗、预加重、端点检测；

所述声学情感特征提取，分为语言学和非语言学特征，基于语言学的情感特征包含于语义信息中，语义信息为词汇、语法、语境和句法，非语言学特征就是基于声学的情感特征，其中声学情感特征提取有基频、共振峰、Mel频率倒数系数、非个性化特征、特征统计的方式；

所述通过多模态情感分析学生的情感变化，其中多模态情感中的视觉情感是利用计算机对人脸的表情信息进行特征提取分析，按照人的认知和思维方式加以归类和理解，对人脸信息中分析理解人的情绪和情感，也就是人脸表情识别系统框架，该人脸表情识别系统框架分为人脸检测定位获取、人脸表情特征提取、人脸表情特征分类；

所述人脸检测定位获取有三种，即基于人脸几何特征的方法、基于人脸肤色模型的方法和基于人脸统计理论的方法；其中基于人脸几何特征的方法又包括三种，一是基于先验知识的方法，该方法利用人类的灰度差异和对称性来制定相应准则检测人脸是否存在；二是基于特征不变的方法，该方法是检测眼睛、鼻子、嘴巴不变的特定特征来判断人脸的存在；三是基于模板的方法，该方法给定一个人脸模板，并确定其模板的值，通过对照的方法，如果模板匹配则检测出人脸，否则检测错误；基于人脸肤色模型的方法，通过建立相应的模型来描述，检测时首先根据被测图像像素与肤色模型的相似程度，结合空间相关性将人脸区域从背景中分割出来；然后对分割出的区域进行几何特征分析，确定与人脸特征的相关值，从而排除非人脸的似肤色区域，达到检测人脸的目的；基于人脸统计理论的方法，从整个人脸的角度出发，利用统计的原理，从众多图像中提出人脸共有的特征来进行人脸检测；描述人脸特征方法有子空间、支持向量机、隐马尔可夫模型、神经网络和迭代算法Adaboost；

所述人脸表情特征提取核心目标是提取人脸图像中可分性好的表情信息，同时达到数据降维的目的；

所述人脸表情特征分类核心目标是对得到的表情特征向量进行分类，得到表情所属的类别，该类别包括人脸运动单元AU组合或基本表情类别，基本表情类别包括表情识别和表情概述；分类表人脸表情特征方法有：线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型分类识别方法；

肢体情感，一个完整的手势识别系统包括三个部分和三个过程，三个部分分别是：采集部分、 分类部分和识别部分；三个过程分别是：分割过程、 跟踪过程和识别过程；采集部分就是用相机/摄像头捕捉学生上课反应，在多目的手势识别中，摄像头以一定的关系分布在用户前方；在单目的情况下，摄像头所在的平面应该和用户的手部运动所在的平面基本水平；识别部分包括了语法对应单位和相应的跟踪机制，通过分类得到的手部形状通过这里一一对应确定的语义和控制命令；分割过程包括了对得到的实时视频图像进行逐帧的手部分割，首先得到需要关注的区域，其次在对得到的区域进行细致分割，直到得到所需要的手指和手掌的形状；跟踪过程包括对手部的不断定位和跟踪，并估计下一帧手的位置；识别过程通过对之前的知识确定手势的意义， 并做出相应的反应；

生理指标情感，是通过传感器采集人的生理信号最终识别出包含在信号中的情感，生理信号包括有脑电信号、眼动信号、肌电信号、皮肤电信号、心电信号和呼吸信号类, 并且在采集之后进一步对信号进行预处理, 然后分析哪种生理信号模式和特定情感状态最密切。