[发明专利]一种基于心率和面部特征的非接触式的人类情感识别方法

权利要求书

1.一种基于心率和面部特征的非接触式的人类情感识别方法，其特征在于，包括如下步骤：

S1、使用RGB色彩和红外线识别心率；具体包括：使用独立成分分析即ICA来匹配视频帧人脸的亮度变化和相应心率信号，ICA是一种基于信号高阶统计特性的信号分析方法，观测到的随机信号服从：

s＝wx

其中x是观测信号矩阵，每个观测信号之间存在统计相关性，在变换矩阵w变换之后，信号矩阵s的各个信号分量之间的相关性降低，采用独立分量分析算法为混合的R、G、B、红外数据解出分离矩阵，其中，ICA的实现形式为特征矩阵的联合逼近对角化即JADE算法，即JADE算法对混合的R，G，B，红外数据提供分离矩阵，JADE算法的目的是计算混合矩阵的逆，它通过四个步骤来描述：步骤1.形成样本协方差并计算白化矩阵

步骤2.形成白化过程的样本四阶累积量计算n对最重要的特征对

步骤3.通过归一化矩阵对集合进行联合对角化；

步骤4.对混合矩阵A的估计是分离后，利用快速傅立叶变换提取信号，找到匹配的心率范围；

S2、使用小波分析面部特征；具体包括以下步骤：

(1)将获取的含有面部特征信息的视频帧经过裁剪、缩放、滤波、去噪、直方图均衡和灰度均衡，转换成为归一化的标准图像，用于后续特征提取；

(2)将步骤(1)归一化的标准图像分割、缩放出ROI(Region of Interest,感兴趣区域)，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点；再采用小波分析进行图像处理，在小波变换后，提取人脸特征向量F＝f⁽¹⁾,f⁽²⁾,…,f^(m)；这里采用的小波变换用圆高斯包络核函数，该核函数为：

式中i是复数运算符，σ是高斯窗口的宽度与正弦波波长的比值，是一个给定像素的坐标，是一个高斯包络函数，用来消除Gabor小波变换的图像分量的影响，k是滤波器的中心频率,定义如下：

式中定义小波尺度，定义小波方向；

再采用主成分分析(Principal Component Analysis，PCA)算法对人脸面部特征向量F＝f⁽¹⁾,f⁽²⁾,…,f^(m)进行降维，降维到d维空间，具体过程如下：1)对所有人脸面部特征向量进行中心化：2)计算人脸面部特征向量的协方差矩阵FF^T；3)对协方差矩阵FF^T做特征值分解；4)取最大的d个特征值所对应的特征向量w1,w2,...,wd；5)将原人脸面部特征向量矩阵与投影矩阵相乘：F·W即为降维后数据集F',其中F为m×n维，W＝{w1,w2,...,wd}为n×d维；

S3、使用神经网络分析心率和面部特征，从而识别出人类情感。