[发明专利]一种基于深度学习的实时视频情感分析方法及系统

权利要求书

1.一种基于深度学习的实时视频情感分析方法，其特征在于，包括以下步骤：

S1、获取训练数据集；

S2、采用基于深度神经网络算法来对训练数据集的微表情进行识别，筛选并输出八种类别的表情预测值，八种类别的表情包括平和、开心、惊讶、伤心、生气、厌恶、恐惧和轻视；

S3、采用心率算法对所拍摄的人表情进行预测并得到相应的心率值；

S4、将步骤S3所获得的心率值与步骤S2中的表情预测值进行比对，并输出与步骤S3所获得的心率值相同的表情。

2.根据权利要求1所述的基于深度学习的实时视频情感分析方法，其特征在于，所述步骤S3的心率算法包括以下步骤，

S31、采用拍摄设备对人的表情进行拍摄，同时再利用物理测量仪器测量参与者的脉搏拍摄的视频皆以24位RGB真彩色、15帧/秒的帧速、1920×1080的像素分辨率采集；

S32、利用深度神经网络检测人脸区域作为ROI，将读取彩色视频的每一帧ROI内的图像，然后对其彩色信号实施三基色分离得到R、G、B三个通道的颜色分量，并将其保存成一个三维数字矩阵，其中第三个维度代表R、G、B三个颜色通道,余下两维的矩阵中的每一个位置上都是ROI内每个相应位置的R、G、B通道的像素值；

S33、将每帧R、G、B三个颜色通道所对应的各自二维矩阵取空间平均，作为该帧视频图像所处时刻的PPG信号样本值；

S34、利用Fast ICA算法将初始信号序列分解为3个独立源信号，将三个分离出来的ICA潜在独立源信号分别与绿色通道原始信号实施简单相关性分析，以找出其中与绿色通道原始信号线性相关程度最高的一个潜在独立源信号；

S35、选择相应的通带频率范围为[0.75,4]，采用一维数字滤波器将非此频段的信号全部进行衰减消除对心率信号频段的干扰，经独立成分分析提取出来的三个ICA独立源信号中含有的PPG信号最强，并对此ICA潜在独立源信号做滤波处理后得到图形；

S36、对PPG信号进行傅立叶变换后在频域中的波形图提取与其对称波形的一半来分析即可得到的频谱图；

S37、将步骤S36中频谱图最高尖峰所对应的频率值乘以六十秒得到心率值。

3.根据权利要求2所述的基于深度学习的实时视频情感分析方法，其特征在于，在步骤S31中对人的表情进行拍摄的具体方法为：参与者坐在一台有内置摄像头的笔记本电脑前40到50厘米左右的位置，面对着摄像头进行拍摄视频。

4.根据权利要求2所述的基于深度学习的实时视频情感分析方法，其特征在于，在步骤S32中，如果没有人脸被检测到，则前一个ROI参数被使用；如果检测到的人脸数量多于一个，选择与前一个ROI参数最为接近的矩形框作为人脸识别的结果。

5.根据权利要求2所述的基于深度学习的实时视频情感分析方法，其特征在于，在步骤S32中，三维数字矩阵的矩阵维数是640×480×3。

6.根据权利要求1所述的基于深度学习的实时视频情感分析方法，其特征在于，所述步骤S1中获取训练数据集的具体方法为：采用FERC-2013、CK+和RaFD的混合数据集，共12万张表情图片。

7.根据权利要求1所述的基于深度学习的实时视频情感分析方法，其特征在于，八种类别的表情的具体输出方法为：深度神经网络算法输入大小为48*48的单通道图片，经过2层64个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2层128个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，2个3层256个过滤器大小3*3的卷积层和1个过滤器大小为2*2、步长为2的池化层，接着经过三层1024个节点的全连接层，最后输出8种类别的表情预测值。

8.一种基于深度学习的实时视频情感分析系统，其特征在于，包括以下模块：

数据训练集，采用FERC-2013、CK+和RaFD的混合数据集；

深度神经网络算法模块，用于对数据训练集内的表情图片进行识别，筛选并输出八种类别的表情预测值；

表情预测值数据库，用于存储深度神经网络算法模块输出的表情预测值；

拍摄模块，用于采集参与者的视频数据；

心率算法模块，用于根据拍摄模块所采集的视频数据进行心率计算，并输出心率数据；

比对模块，用于将心率算法模块所计算的心率数据与表情预测值数据库内的表情预测值进行比对，比对一致时输出与其相对应的表情；

输出模块，用于输出表情和心率数据。