[发明专利]一种情绪识别方法、装置和电子设备

权利要求书

1.一种情绪识别方法，其特征在于，包括：

当获取到用户发出的语音信息时，对所述语音信息进行特征图提取，得到所述语音信息的特征图；

对所述语音信息进行傅里叶变换，得到傅里叶变换后的语音信息，并对傅里叶变换后的语音信息进行预处理，得到预处理后的语音信息；

计算所述预处理后的语音信息的音高，并将所述预处理后的语音信息的音高中属于{C,C#,D,D#,E,F,F#,G,G#,A,A#,B}音高集合的音高相加并进行归一化处理，得到所述语音信息的色度特征矩阵；

将所述语音信息的所述特征图和所述色度特征矩阵输入到深度全卷积网络算法模型中，得到不同情绪与情绪概率的对应关系；

将所述不同情绪与情绪概率的对应关系中最大的情绪概率对应的情绪，确定为所述用户的情绪。

2.根据权利要求1所述的方法，其特征在于，还包括：

当获取到用户发出的文字信息时，确定用户使用的是打字的方式发出的文字信息；

获取所述用户使用的移动终端上安装的文字输入法所记录的用户的输入特征信息；

对所述输入特征信息进行处理，得到所述输入特征信息的特征向量；

将所述输入特征信息的特征向量输入到支持向量机中，并将所述支持向量机的处理结果输入到softmax算法模型中，得到情绪与情绪概率的对应关系；

将最大的情绪概率对应的情绪，确定为所述用户的情绪。

3.根据权利要求1所述的方法，其特征在于，还包括：

当采集到所述用户的面部图像时，利用Xception网络对所述用户的面部图像进行处理，得到所述用户的面部图像的特征向量，并利用时空神经网络STNN对所述用户的面部图像进行处理，得到所述用户的面部图像的空间维度特征和短时间维度特征、以及长时间维度特征；

将所述用户的面部图像的特征向量输入到softmax算法模型中，得到第一情绪与情绪概率的对应关系；

将所述用户的面部图像的空间维度特征和短时间维度特征、以及长时间维度特征输入到softmax算法模型中，得到第二情绪与情绪概率的对应关系；

利用DS融合算法对所述第一情绪与情绪概率的对应关系和所述第二情绪与情绪概率的对应关系进行处理，确定所述用户的情绪。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述情绪包括：中性情绪、开心情绪、惊讶情绪、伤心情绪、生气情绪以及厌恶情绪；

所述方法还包括：

当所述用户的情绪属于所述中性情绪、所述开心情绪或者所述惊讶情绪时，获取答复文本集合，并利用Smooth Inverse Frequency算法对所述答复文本集合中的各答复文本与所述用户的情绪进行匹配，从所述答复文本集合中的各答复文本中确定出与所述用户的情绪匹配度最高的答复文本反馈给所述用户；

当所述用户的情绪属于所述伤心情绪、所述生气情绪以及所述厌恶情绪时，则通知在线人工客服对所述用户进行答复。

5.一种情绪识别装置，其特征在于，包括：

提取模块，用于当获取到用户发出的语音信息时，对所述语音信息进行特征图提取，得到所述语音信息的特征图；

处理模块，用于对所述语音信息进行傅里叶变换，得到傅里叶变换后的语音信息，并对傅里叶变换后的语音信息进行预处理，得到预处理后的语音信息；

第一计算模块，用于计算所述预处理后的语音信息的音高，并将所述预处理后的语音信息的音高中属于{C,C#,D,D#,E,F,F#,G,G#,A,A#,B}音高集合的音高相加并进行归一化处理，得到所述语音信息的色度特征矩阵；

第二计算模块，用于将所述语音信息的所述特征图和所述色度特征矩阵输入到深度全卷积网络算法模型中，得到不同情绪与情绪概率的对应关系；

确定模块，用于将所述不同情绪与情绪概率的对应关系中最大的情绪概率对应的情绪，确定为所述用户的情绪。