[发明专利]基于人工智能的情绪监测方法、系统、设备及存储介质

权利要求书

1.基于人工智能的情绪监测方法，其特征在于，包括：

获取目标对象的心率监测信息、语音监测信息以及图像监测信息；

根据心率监测信息确定目标对象的心率参数；

对语音监测信息进行音频预处理及音频特征提取，得到目标对象的语音频谱特征，并将语音频谱特征输入基于深度学习的语音情绪识别模型中进行语音情绪识别，得到第一情绪识别结果；

对图像监测信息进行图像预处理，得到目标对象的人脸图像，从目标对象的人脸图像中提取出面部特征参数，并将面部特征参数输入基于深度学习的人脸情绪识别模型中进行人脸情绪识别，得到第二情绪识别结果；

根据第一情绪识别结果确定第一情绪等级，根据第二情绪识别结果确定第二情绪等级，并根据心率参数、第一情绪识别结果和第二情绪识别结果判定目标对象的情绪分类；

根据目标对象的情绪分类调取对应的情绪评价计算模型，将心率参数、第一情绪等级和第二情绪等级代入情绪评价计算模型中进行计算，得到目标对象的情绪评价得分；

根据目标对象的情绪分类及情绪评价得分生成对应的情绪监测信息，并将情绪监测信息发送至对象终端，以使对象终端可视化展示情绪监测信息。

2.根据权利要求1所述的基于人工智能的情绪监测方法，其特征在于，所述根据心率监测信息确定目标对象的心率参数，包括：从心率监测信息中提取设定时间段内监测到的若干心率监测值，将各心率监测值的平均值、中位值或最大值作为目标对象的心率参数。

3.根据权利要求1所述的基于人工智能的情绪监测方法，其特征在于，所述对语音监测信息进行音频预处理及音频特征提取，得到目标对象的语音频谱特征，包括：

对语音监测信息进行降噪处理，得到目标对象的人声信息；

通过高通滤波器对人声信息进行预加重处理，得到预加重后的人声信息；

对预加重后的人声信息进行分帧处理，得到若干信号帧；

对各信号帧进行加窗处理，得到各加窗后的信号帧；

对各加窗后的信号帧进行快速傅里叶变换处理，得到各加窗后的信号帧所对应的频谱参数；

将各频谱参数导入梅尔滤波器组进行运算处理，并对梅尔滤波器组输出参数进行对数运算及离散余弦变换处理，得到梅尔倒谱系数，将所述梅尔倒谱系数作为目标对象的语音频谱特征。

4.根据权利要求1所述的基于人工智能的情绪监测方法，其特征在于，所述对图像监测信息进行图像预处理，得到目标对象的人脸图像，从目标对象的人脸图像中提取出面部特征参数，包括：

从图像监测信息中提取初始人脸图像，并对初始人脸图像进行灰度归一化处理、图像去噪处理以及图像增强处理，得到目标对象的人脸图像；

采用Dlib人脸检测方法对目标对象的人脸图像进行人脸特征点检测，得到面部特征参数。

5.根据权利要求1所述的基于人工智能的情绪监测方法，其特征在于，所述语音情绪识别模型采用长短期记忆网络模型经过第一训练集训练得到，所述第一训练集包含若干标记有相应情绪分类及情绪等级标签的梅尔倒谱系数训练样本；所述人脸情绪识别模型采用卷积神经网络模型经过第二训练集训练得到，所述第二训练集包含若干标记有相应情绪分类及情绪等级标签的面部特征参数训练样本。

6.根据权利要求5所述的基于人工智能的情绪监测方法，其特征在于，所述第一情绪识别结果包含第一情绪分类及第一情绪等级，所述第二情绪识别结果包含第二情绪分类及第二情绪等级，所述根据第一情绪识别结果确定第一情绪等级，根据第二情绪识别结果确定第二情绪等级，并根据心率参数、第一情绪识别结果和第二情绪识别结果判定目标对象的情绪分类，包括：

从第一情绪识别结果中提取出第一情绪等级及第一情绪分类，从第二情绪识别结果中提取第二情绪等级及第二情绪分类；

采用预置的情绪判定规则并基于心率参数、第一情绪分类和第二情绪分类进行情绪判定，得到目标对象的情绪分类。