[发明专利]一种基于峰值帧和深度森林的微表情识别方法

权利要求书

1.一种基于峰值帧和深度森林的微表情识别方法，其特征在于：包括以下步骤：

步骤S1：微表情样本预处理；

步骤S2：峰值帧定位及处理；

步骤S3：深度森林模型训练；

步骤S4：微表情识别。

2.根据权利要求1所述的一种基于峰值帧和深度森林的微表情识别方法，其特征在于：所述步骤S1包括：

①微表情序列中的每一帧均由RGB图像转化为灰度图像；

②每一帧灰度图像转化为二维矩阵；

③将同一组微表情序列中的所有二维矩阵按顺序连接为一个三维矩阵。

3.根据权利要求1所述的一种基于峰值帧和深度森林的微表情识别方法，其特征在于：所述步骤S2包括：

①在每一个三维矩阵中，用N来控制滑动窗口的长度，以每帧的前后-N/2到N/2为一个区间，计算每一个区间的频率；

②选取频率最高的区间，此区间的中间帧即为峰值帧；

③将峰值帧作为训练集，将其他帧即一般帧作为测试集；

④记录所有表情序列中的峰值帧序号，之后从微表情序列中提取对应的峰值帧，把峰值帧集合作为训练集，其余的微表情一般帧集合作为测试集。

4.根据权利要求1所述的一种基于峰值帧和深度森林的微表情识别方法，其特征在于：所述步骤S3包括：

①使用VGG-Face网络对训练集和测试集进行特征提取；

②将提取的训练集特征和微表情类别标签输入到深度森林模型中，结合训练结果选择最优超参数，其中深度森林模型只有级联森林结构，每层包括两个完全随机森林和两个普通随机森林，具体方法为：

a.数据输入每一层深度森林后，根据数据的特征和类别标签生成新的类别标签；

b.每一个随机森林都会输出一个类向量，表示该样本为每个类别标签的概率；

c.除第一层森林外，每层的森林都把上一层的输出结果，结合原始的输入数据作为当前层的输入；

d.将最后一层森林输出的类向量做平均，输出最大值；

e.调试超参数并对比分类结果，选择最优超参数；

③固定最优超参数，训练深度森林模型，得到微表情识别准确率最高的深度森林模型。

5.根据权利要求1所述的一种基于峰值帧和深度森林的微表情识别方法，其特征在于：所述步骤S4包括：将测试集的特征输入到训练好的深度森林模型中，输出识别准确率。

6.根据权利要求2所述的一种基于峰值帧和深度森林的微表情识别方法，其特征在于：所述步骤S1:微表情样本预处理,具体步骤包括：选择每一组由多帧图片组成的RGB彩色图像微表情序列，将RGB图像转化为灰度图像，每张灰度图像保存为一个二维矩阵H×W，H和W分别代表高和宽，将源自同一组微表情序列中的所有灰度二维矩阵按照数据集中的原始顺序连接为一个三维矩阵H×W×N，N代表帧数。

7.根据权利要求3所述的一种基于峰值帧和深度森林的微表情识别方法，其特征在于:所述步骤S2，峰值帧定位及处理,具体步骤包括：

对于微表情序列构成的三维矩阵，将人脸区域划分为6×6块，使用带有滑动时域窗口的3D FFT将三维矩阵转换为频域；通过用当前帧中的N来控制滑动窗口的长度，计算它在滑动窗口中的帧的频率；对于第i个间隔，用3D FFT计算其36个块上的间隔的频率值；块记为{b_i1,b_i2,…,b_i36}；对于第i间隔内的第j块，频率值为：

其中(x,y,z)表示频域中的位置，L_b表示第i个间隔中第j个块b_ij的高度，W_b表示第j个间隔块b_ij的宽度，j＝{1,2,…,36,}；

采用高频带滤波器(HBF)去除较低频率，减少了帧中不变像素的影响；高频滤波器定义为公式1，其中D₀是阈值；

按照公式2过滤频域中的块，

随后，通过公式3累积求和第i个间隔中所有36个块的频率幅度值

其中A_i第i个间隔的频率幅度；它代表了第i个间隔快速面部运动的范围；以同样的方式，获得所有间隔频率信息；对应于间隔的最大频率幅度的峰值间隔表示快速面部运动的最高强度帧，选择间隔的中间帧作为峰值帧；

记录所有表情序列中的峰值帧序号，之后从微表情序列中提取对应的峰值帧，把峰值帧集合作为训练集，其余的微表情一般帧集合作为测试集。