[发明专利]一种基于二面体群的面部关键点对称性检测方法

权利要求书

1.一种基于二面体群的面部关键点对称性检测方法，其特征在于，主要包括人脸对称(一)；二面体群(二)；检测算法(三)。

2.基于权利要求书1所述的人脸对称(一)，其特征在于，面部的特征是由头骨形状决定的，许多面部关键点在情绪分析中是非常重要的；可用眉毛(3个点)、眼睛(4个点)、唇侧(3个点)、嘴唇中部(4个点)的特征对(包括面部左侧和右侧，总共有24个点，每一侧有10个点)进行对称性分析；面部对称性是通过改变面部的不对称性来测量的，而对称包含旋转和反射，两者都可能出现在面部特征中。

3.基于权利要求书2所述的不对称面部表情，其特征在于，不对称面部表情可以分为运动不对称和面部结构不对称两种；这两种方法都可以用于寻找面部的不对称性；运动通常是发现面部表情不对称的主要来源，可以通过在一定时间内确定像素值的变化来测量；面部表情的结构不对称对于面部表情状态的解释具有重要意义。

4.基于权利要求书1所述的二面体群(二)，其特征在于，二面体群有两种主要的操作：旋转和反射；具有n面的正多边形是二面体群，可用D_n表示，并具有2n个元素：

{e,r,r²,…,r^n-1,s,sr,sr²,…,sr^n-1}(1)

其中，e是D_n中的单位元素；

D_n＝{s_jr^k:0≤k≤n-1,0≤j≤1}(2)

可用上式表示D_n。

5.基于权利要求书4所述的二面体群的属性，其特征在于，它们具有的属性如下：

rⁿ＝1,sr^ks＝r^-k,(sr^k)²＝e，对于所有0≤k≤n-1(3)

D_n的两个元素的组成由下式给出：

rⁱr^j＝r^i+j,rⁱsr^j＝sr^j-i,srⁱr^j＝sr^i+j,srⁱsr^j＝r^j-i(4)

以D₄为例，用最简单的结构(一个矩形)来表示面部，除了计算外，它覆盖了大部分数据。

6.基于权利要求书5所述的正方形的四个逆时针旋转及其面部关键点检测的变换矩阵，其特征在于，考虑由D₄表示的正方形的四个逆时针旋转方位的旋转和反射，计算面部关键点检测的变换矩阵，以及垂直、水平和两个对角线的反射及其矩阵；

对于i∈{0,1,2,3}，R₁为单位元素(0或360度旋转)，R₂为90度的旋转，R₃为180度的旋转，R₄为270度的旋转；之后，这些矩阵将作为应用于面部图像和寻找对称点的图像卷积滤波器，特别是在有遮挡图像时。

7.基于权利要求书5所述的垂直、水平和两个对角线反射及其面部关键点检测的变换矩阵，其特征在于，对于i∈{1,2}，V表示沿垂直轴翻转，H表示沿水平轴上翻转，D₁表示沿左上角和右下角的对角线翻转，D₂表示沿右上角和左下角的对角线翻转，这些矩阵表示了眉毛、眼睛和嘴唇左右两侧的反射。

8.基于权利要求书1所述的检测算法(三)，其特征在于，选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。

9.基于权利要求书8所述的算法的主要部分，其特征在于，可以总结为3个步骤：

(1)在对图像进行预处理后，用验证的算法找到面部图像中心；

(2)使用二面体群查找精确的旋转图像和翻转图像；

(3)应用学习算法呈现如神经网络(NN)和卷积神经网络(CNN)的面部表情的最佳结果。

10.基于权利要求书9所述的算法的详细步骤，其特征在于，主要包括以下五个步骤：

(1)对面部图像进行预处理，如去噪，并在图像中检测和裁剪面部，如下所示：

a)检测面部区域；

b)裁剪眉毛、眼睛和嘴巴区域；

c)使用Canny边缘检测算法寻找Canny边缘；

d)在图像上寻找多边形(这里为矩形)；

(2)寻找对称点；

(3)根据D₄(矩形)中的二面体旋转和翻转矩阵，找到旋转和翻转的图像；

(4)有两个选择：

a)使用所有原始和变换图像(旋转和翻转图像)训练学习方法，如NN；

b)在CNN中使用变换矩阵作为过滤器；

(5)使用新数据进行测试，并使用所有数据(旧和新)进行更多训练。