[发明专利]混合时空平面局部二值模式的自发微表情定位方法

权利要求书

1.混合时空平面局部二值模式的自发微表情定位方法，其特征在于该方法具体是：

步骤1)人脸对齐，包括粗匹配对齐与精细匹配对齐；

步骤S1：用ASM算法对自发微表情视频每帧提取脸部标记点，其中内眼角点和鼻尖点，是正面视角中相对稳定的三个点，被用于脸部区域仿射变换，实现脸部区域的粗匹配对齐；

步骤S2：在完成粗匹配对齐的图片基础上，用精细匹配算法最大化相邻帧之间的相似度，将脸部区域分为眼部区域和嘴部区域分别进行精细匹配对齐；

步骤2)人脸眼部区域与嘴部区域的时空特征提取，即从眼部区域与嘴部区域，分别提取空间轴扇形平面特征与去冗余时间轴线性特征；

步骤S3：使用LBP方法分别提取眼部区域与嘴部区域的空间轴扇形平面特征；

步骤S4：使用LBP方法分别提取眼部区域与嘴部区域的去冗余时间轴线性特征；

步骤3)采用非线性的特征融合方式，将空间轴平面和时间轴线性提取得到的特征向量融合为更完备的特征向量表示；

步骤4)通过相关性的计算与阈值的设定来判定视频中自发微表情帧，定位出自发微表情视频中自发微表情帧所在序位，选取帧特征大于阈值的帧作为自发微表情帧。

2.根据权利要求1所述的混合时空平面局部二值模式的自发微表情定位方法，其特征在于，步骤S2的具体如下：

输入：标准模板图片N，待匹配图片U_P，精确匹配图片N_P；

步骤1：获取标准模板图片N的大小，图片N的长度、宽度分别用N_x、N_y表示；

步骤2：如果x，y值都不为空，执行步骤3；否则，初始化值，令x＝1、y＝1，执行步骤3；

其中x表示待匹配图片左上角起始点的横坐标，y表示待匹配图片左上角起始点的纵坐标，x与y构成表示点位置的一对坐标；

步骤3：N_Value＝NCC(N,U_P(x:x+N_x,y:y+N_y))，N_Value表示标准模板图片与待匹配图片的相似度数值，U_P(x:x+N_x,y:y+N_y))表示选取x，y作为待匹配图片的起始坐标基准点，N_x、N_y分别为选取图片的长度和宽度；

步骤4：选取以(x,y)为圆心，1为半径的邻域点(x{1...8},y{1...8})；其中x{1...8}表示依次取圆心周围的8个邻域点的横坐标，y{1...8}表示依次取圆心周围的8个邻域点的纵坐标，从而依次构成其中某个邻域点的一组坐标；

步骤5：Value{1...8}＝NCC(N,U_P(x{1...8}:x{1...8}+N_x,y{1...8}:y{1...8}+N_y))，Value{1...8}表示标准模板图片与以新坐标为基准选取的待匹配图片进行相似度计算，依次得到8个相似度数值；其中以新坐标为基准选取的待匹配图片是指以邻域点坐标为坐标基准点，选取待匹配图片；

步骤6：Value_Max＝max(N_Value,Value{1...8})，Value_Max表示取上述计算得到的所有相似度数值的最大值；

步骤7：如果N_Value＝＝Value_Max，则N_P＝U_P(x:x+N_x,y:y+N_y)；否则，令x＝x_Value_Max、y＝y_Value_Max，执行步骤4；x_Value_Max表示最大相似度值所对应待匹配图片左上角起始点的横坐标，y_Value_Max表示最大相似度值所对应待匹配图片左上角起始点的纵坐标；

输出：精确匹配图片N_P；

其中“max”为取最大值运算，“＝”为赋值运算符，“＝＝”为相等运算符，“：”为区间表示，{1..8}表示以1为半径的周围8邻域点。

3.根据权利要求2所述的混合时空平面局部二值模式的自发微表情定位方法，其特征在于，NCC函数的计算公式如式(1)所示；

其中λ∈[λ₁,λ₂]，为标准模板可以选择应用于匹配模板的区间值；滑动匹配窗口的位置被定位于区间[σ,σ+W-1]内，σ为匹配起始位置，W为窗口的大小；f(n)、分别表示标准模板和待匹配区域的熵值。