[发明专利]一种基于语音情感分析和微表情识别的演讲辅助系统

权利要求书

1.一种基于语音情感分析和微表情识别的演讲辅助系统，包括语音情感分析模块、语音数据收集模块、微表情识别模块、微表情分析模块和语音情感修正模块，其特征在于：

语音数据收集模块，用于收集演讲者在演讲时的声音数据；通过与演讲者使用的扩音装置直接进行连接，获取外在干扰较少的实时演讲语音信息，通过使用中值滤波和切比雪夫滤波，对声音信号进行模电转换，为声音对比处理提供数据；

语音情感分析模块，用于在所述语音数据收集模块收集到演讲者演讲时的声音信息后，与演讲者非演讲状态下的语音数据进行声音波形、声音强度的对比，从而进行语音情感分析；具体步骤为：

步骤1、获取一段安静环境下的演讲者语音片段，作为无干扰声音的参考组；

步骤2、对演讲者在演讲时的声音信号进行处理，包括：

步骤21、以分帧的方式处理获取到的演讲语音片段，每一段语音可以按长短需求截取，用以标记一句话或者一个语音样本；

步骤22、建立起语音处理的数据参考库，采集国内外经典演讲视频的20个主要LLD（LowLevel Descriptor，低阶描述符）特征建立数据集；

步骤23、对语音样本的每一帧的语音信息按照先后顺序标记，使用LLD在每一帧语音上进行计算，用来表示每一帧语音的特征；

步骤3、将用于参照的语音信息和获取到的演讲声音片段进行对比处理，分析演讲时的语音情感，包括：

步骤31、对20个LLD特征归一化后，使用汉明窗提取特征，生成的序列特征维度为20；

步骤32、将特征输入CNN和LSTM叠加的网络结构中，其中，CNN指沿时间方向的条状卷积，LSTM指长短期记忆网络；

步骤33、用交叉验证法验证，使用SVM分类器对输出分类；

微表情识别模块，用于通过拍摄观众在聆听演讲时的面部照片，实时获取观众的微表情变化；

微表情分析模块，用于获取到观众的微表情信息之后，对观众的情绪进行类别划分；

语音情感修正模块，用于根据语音情感分析模块和微表情分析模块的输出帮助演讲者实时进行演讲情绪调动。

2.根据权利要求1所述的一种基于语音情感分析和微表情识别的演讲辅助系统，其特征在于，所述微表情识别模块通过人脸识别系统定位到观众席中五官拍摄清晰的面孔，动态拍摄人脸之后对面部微表情进行识别并采集。

3.根据权利要求1所述的一种基于语音情感分析和微表情识别的演讲辅助系统，其特征在于，所述微表情分析模块对拍摄到的人脸表情进行类别划分，具体步骤为：

步骤1、采集拍摄照片中的人脸，将表情标签化；

步骤2、通过GAN网络训练一个生成模型，对输入的人脸图片生成中性脸；

步骤3、学习残余在生成模型中的残余表情元素，生成模型中间层的输出，组合并输入到用于面部表情分类的深度模型中，对输出特征进行表情分类。

4.根据权利要求1所述的一种基于语音情感分析和微表情识别的演讲辅助系统，其特征在于，所述语音情感修正模块对演讲情绪的调动包括保持流畅、加速总结和带动气氛三种模式。