[发明专利]一种基于GRU的情绪安慰方法、系统及移动终端

权利要求书

1.一种基于GRU的情绪安慰方法，其特征在于，包括如下步骤：

步骤1、将人的面部表情和声音录入系统中，将收集到的图片及声音数据放到GRU网络算法中进行训练，从而实现识别使用者处于何种情绪；

步骤2、根据识别出的用户情绪，终端作出预设的安慰动作；

步骤3、移动终端记录使用者每一次情绪调节发生的时间、调节情绪所用的方式、调节时长以及使用者对调节效果的评价信息；

步骤4、将步骤3中反馈的信息带入GRU网络中进行再学习，以适应不同使用者的行为偏好；

步骤5、定期生成数据报告。

2.根据权利要求1所述的一种基于GRU的情绪安慰方法，其特征在于，步骤1中情绪识别具体包括如下步骤：

步骤11、输入视频和音频；

步骤12、将音频进行预处理，抽取43维有效特征；将视频进行处理提取其26维有效特征；

步骤13、将音频及视频的有效特征带入GRU网络中进行训练；

步骤14、带入决策层融合算法中识别出使用者情绪。

3.根据权利要求2所述的一种基于GRU的情绪安慰方法，其特征在于，步骤12中视频的处理方法包括如下步骤：

步骤121：图像帧抽取，每3帧抽取一张图片；

步骤122：采用Dlib库从步骤121中提取出68个人脸特征点坐标；

步骤123：在这68个特征点坐标的基础上，选取26个两点间的距离长度作为表情特征；

步骤124：将26维特征送入GRU网络训练和测试。

4.根据权利要求2所述的一种基于GRU的情绪安慰方法，其特征在于，步骤12中语音有效特征提取包括如下步骤：

步骤125：对音频的预处理工作，分别设置窗口长度为0.025s，提取语音情感特征的时间间隔为0.01s；

步骤126：进行特征提取，总共提取了表征语音情感的43维特征向量，分别是13维MFCC特征、２维MFCC动态差分参数包括MFCC1阶差分和２阶差分、26维Fbank特征和２维标准差包括MFCC和Fbank的标准差。

5.根据权利要求2所述的一种基于GRU的情绪安慰方法，其特征在于，步骤14中决策层融合算法包括如下步骤：

步骤141：将语音提取的43维特征向量和视频提取的26维特征向量拼接成59维情感特征向量并进行标准化；

步骤142：将标准化后的特征送入GRU网络中进行训练和测试；

步骤143：利用加权的方式将GRU输出的语音和面部表情情感识别结果进行整合。

6.根据权利要求1所述的一种基于GRU的情绪安慰方法，其特征在于，步骤2中经过情绪识别，将情绪分类成6种，移动终端根据不同情绪种类将分别作出不同的反应：

若情绪识别为高兴，则移动终端将不做任何反应；

若情绪识别为惊奇，则移动终端会自动弹出网页搜索栏，让使用者对自己感到惊奇的事物进行搜索；

若情绪识别为恐惧、厌恶、悲伤或愤怒情绪，则移动终端播放轻快的音乐，或者播放搞笑视频，如果经过一定时间后，通过情绪识别，识别出该情绪依然是恐惧，移动终端自动联系预先设定的联系人以寻求进行人工心理安慰。

7.根据权利要求1所述的一种基于GRU的情绪安慰方法，其特征在于，步骤4中移动终端记录每次情绪调节的方式以及使用者人工评价信息，经GRU网络进行学习，个性化的确定每个使用者调节方式、情绪种类、调节效果和调节时长的关系，将相关数据存储于移动终端，供使用者下次使用时调用和再学习。

8.一种基于GRU的情绪安慰系统，其特征在于，所述基于GRU的情绪安慰系统，实现上述权利要求1至7所述基于GRU的情绪安慰方法的步骤。

9.一种基于GRU的情绪安慰的移动终端，其特征在于，所述移动终端包括存储器、处理器、摄像头、屏幕、扬声器、麦克风、通信装置以及存储在存储器上并可以在所述处理器上运行的基于GRU的情绪安慰程序，所述基于GRU的情绪安慰程序被处理器执行时实现如权利要求1至7所述的基于GRU的情绪安慰方法的步骤。