[发明专利]一种基于GRU的情绪安慰方法、系统及移动终端

说明书

一种基于GRU的情绪安慰方法、系统及移动终端，属于智能设备技术领域，包括如下步骤：将面部表情和声音录入系统中，将收数据进行训练，从而实现识别使用者处于何种情绪；根据识别出的情绪，终端作出预设的安慰动作；移动终端记录使用者每一次情绪调节发生的时间、调节方式、调节时长等信息；将所得信息带入GRU网络中进行再学习；定期生成数据报告。本发明的有益效果为：采用双层次方向GRU分别模拟人类听觉和视觉处理通路处理语音和面部表情的情感信息，GRU既能克服RNN建模时梯度消失和爆炸的问题，又比LSTM训练时间短，且出现的过拟合问题较少。在引入注意力机制后，能够提高重要时序特征的影响权重，抑制非重要时序特征，提升模型的分类效果。

技术领域

本发明属于智能设备技术领域，具体涉及一种基于GRU的声音和图像识别的情绪安慰方法及系统。

背景技术

随着社会的发展，人们生活的节奏越来越快。平时悲伤的情绪越来越无从倾泻，目前表情识别的应用领域虽然很广泛，但是直接运用在人类的情绪却很少。因为心理因素发生的悲剧层出不穷，尤其是在学生群体中。

人们出行普遍携带移动终端，使用移动终端的时间也呈逐年增长的趋势，与移动终端之间的交互也成为了人们表达观点，宣泄情绪的主要方式。

发明内容

为解决上述技术问题，本发明提出了一种基于GRU的情绪安慰方法、系统及移动终端，采用移动终端的摄像头实时拍照，采用移动终端的麦克风录音，将照片放到长短时记忆GRU网络中进行训练，从而分类使用者处于何种情绪，根据判断结果控制移动终端使用多种可选的方法对使用者进行安慰。

一种基于GRU的情绪安慰方法，包括如下步骤：

步骤1、将人的面部表情和声音录入系统中，将收集到的图片及声音数据放到GRU网络算法中进行训练，从而实现识别使用者处于何种情绪；

步骤2、根据识别出的用户情绪，终端作出预设的安慰动作；

步骤3、移动终端记录使用者每一次情绪调节发生的时间、调节情绪所用的方式、调节时长以及使用者对调节效果的评价信息；

步骤4、将步骤3中反馈的信息带入GRU网络中进行再学习，以适应不同使用者的行为偏好；

步骤5、定期生成数据报告。

优选的，步骤1中情绪识别具体包括如下步骤：

步骤11、输入视频和音频；

步骤12、将音频进行预处理，抽取43维有效特征；将视频进行处理提取其26维有效特征；

步骤13、将音频及视频的有效特征带入GRU网络中进行训练；

步骤14、带入决策层融合算法中识别出使用者情绪。

优选的，步骤12中视频的处理方法包括如下步骤：

步骤121：图像帧抽取，每3帧抽取一张图片；

步骤122：采用Dlib库从步骤121中提取出68个人脸特征点坐标；

步骤123：在这68个特征点坐标的基础上，选取26个两点间的距离长度作为表情特征；

步骤124：将26维特征送入GRU网络训练和测试。

优选的，步骤12中语音有效特征提取包括如下步骤：

步骤125：对音频的预处理工作，分别设置窗口长度为0.025s，提取语音情感特征的时间间隔为0.01s；

步骤126：进行特征提取，总共提取了表征语音情感的43维特征向量，分别是13维MFCC特征、２维MFCC动态差分参数包括MFCC１阶差分和２阶差分、26维Fbank特征和２维标准差包括MFCC和Fbank的标准差。

优选的，步骤14中决策层融合算法包括如下步骤：

步骤141：将语音提取的43维特征向量和视频提取的26维特征向量拼接成59维情感特征向量并进行标准化。