[发明专利]视频序列中人脸微表情的识别方法

摘要

本发明视频序列中人脸微表情的识别方法，涉及用于识别图形的记录载体的处理，是一种利用HLACLF‑TOP算法提取人脸微表情序列的动态时空纹理特征方法，步骤是：人脸微表情视频欧拉放大；人脸微表情图像预处理；利用HLACLF‑TOP算法提取人脸微表情序列的动态时空纹理特征；利用ELM分类器进行训练和预测。本发明方法克服了现有技术中由于人脸微表情变化幅度小造成微表情难以识别的缺陷。

主权项

1.视频序列中人脸微表情的识别方法，其特征在于：是一种利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征方法，具体步骤如下：第一步，人脸微表情视频欧拉放大：利用欧拉影像放大算法对人脸微表情视频进行放大，将放大后的人脸微表情视频转为人脸微表情图像序列；第二步，人脸微表情图像预处理：利用高斯滤波器对第一步得到的人脸微表情图像序列进行去噪处理，利用Adaboost算法检测该微表情图像中的人脸并进行裁剪，采用双线性插值算法实现图像的尺寸归一化，经过如此人脸微表情图像预处理后的人脸微表情图像大小为M×M像素，即人脸微表情图像的宽度和高度均为M个像素；第三步，利用HLACLF-TOP算法提取人脸微表情序列的动态时空纹理特征：以下将HLACLF-TOP算法提取的人脸微表情序列的动态时空纹理特征简称为HLACLF-TOP特征，通过将HLAC掩膜作用在图像序列上来计算HLACLF-TOP特征，具体步骤为：(1)计算XY平面的HLACLF向量：人脸微表情图像序列在XY平面的HLACLF向量是将HLAC掩膜作用于人脸微表情序列中的每一帧，得到一个HLACLF向量，将这些特征向量串联起来，得到该序列在当前平面的特征向量(f11,f12,...,f1m,f21,f22,...,f2m,...,fn1,fn2,...,fnm)，操作方法是：首先将HLAC掩膜作用在第二步提取的单帧人脸微表情图像的左上角3×3区域，将掩膜各位置的值作为所对应的像素的权值，进行相乘再相加，得到该区域的特征值，然后将HLAC掩膜向右滑动3个像素，与前面的区域无重叠，进行掩膜操作，得到该3×3区域特征值，继续向右滑动，直到该行的最右端，将这一行每个3×3区域得到的特征值相加得到该行的向量值f11；将HLAC掩膜向下滑动3个像素，按上述操作方法，继续从左到右扫描该图像进行掩膜操作，得到该行的向量值f12；重复上述操作，直到扫描完整个图像，得到该图像在该掩膜下得到的HLACLF向量(f11,f12,f13,...,f1m)，其中m＝M/3，当前图像大小为M×M像素，即图像的宽度和高度均为M个像素；HLAC掩膜包含25个0到2阶的3×3掩膜，0-阶掩膜即在3×3的窗口中只有中心位置为1，其他位置为0；1-阶掩膜是在3×3的窗口中有两个位置为1，其他为0；2-阶掩膜是在3×3的窗口中有三个位置为1，其他为0；将25个3×3经典HLAC掩膜作用在XY平面，即按照上述方法，每个掩膜提取一个HLACLF向量，最后每个序列在XY平面上得到25个向量，记为， ( f 11 k , f 12 k , ... , f 1 m k , ... , f a b k , ... , f n m k ) X Y , k = 1 , 2 , ... , 25 - - - ( 1 ) , ]]>其中字符n为每个微表情序列中帧的个数，字符a代表人脸微表情图像序列中第a帧，字符b代表每帧人脸微表情图像中的第b个向量元素，b取值范围为1,…,m，字符k表示是第k个掩膜；(2)计算XT平面和YT平面的HLACLF向量：XT平面和YT平面中的T轴是时间轴，分别与Y轴和X轴垂直，将HLAC掩膜改进为6个1×3的掩膜，这6个掩膜分别包含了三个0-阶和三个1-阶的掩膜，0-阶掩膜即只有一个位置为1，1-阶掩膜为两个位置为1，在XT和YT平面上采用这6个1×3的掩膜进行特征提取，操作方法是：将6个1×3的掩膜分别作用于XT平面和YT平面，XT与YT平面大小为均为M×n，其中，图像序列中每帧图像的宽为M个像素，n为每个微表情序列中帧的个数，对于XT平面和YT平面分别在在Y轴与X轴上，以3为步长按照上述XY平面上掩膜的扫描方法，将1×3的掩膜在XT和YT平面上进行扫描，在每个平面上提取一个1×n的向量，最后，每个序列在XT及YT平面上得到的向量的大小均为n×m，其中m＝M/3，与XY平面得到的向量大小一致，记为， ( f 11 k , f 12 k , ... , f 1 n k , ..... , f c d k , ... , <