[发明专利]一种基于姿态适应的树突状卷积神经网络的人脸对齐方法

权利要求书

1.一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，主要包括姿态适应的树突状卷积神经网络(一)；模块化辅助任务卷积神经网络(二)；对姿态适应的树突状卷积神经网络的训练(三)；面部特征点树状结构(四)。

2.基于权利要求1所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述姿态适应的树突状卷积神经网络(一)，具体包括：由多层卷积网络和多层去卷积网络组成，其作用主要是对人脸图像的特征点进行估计；人脸图像特征点估计主要通过使用卷积层和去卷积层组成的树结构中的独立CNN进行，CNN为卷积神经网络；不同特征点的成对关系通过函数f_i,j进行模拟，f_i,j通过卷积层实现；姿态适应的树突状卷积神经网络完全基于2D图像，通过对3D头部姿态的调节来捕捉3D信息，其中，姿态适应的树突状卷积神经网络表示为PCD-CNN。

3.基于权利要求2所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述多层卷积网络，多层卷积网络基于Squeezenet-11体系结构，作用于姿态和关键点，分别为PoseNet和KeypointNet；多层卷积在PoseNet的池化层pool8的激活映射上执行，然后将其响应结果与KeypointNet的池化层pool8的响应结果逐个相乘；每个卷积层之后是线性整流函数非线性化和批量归一化过程，可减少特征点的定位误差。

4.基于权利要求2所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述多层去卷积网络，为了保持与SqueezeNet相同的属性，首先使用参数化的跨步卷积对特征映射进行上采样，然后使用1×1卷积来压缩输出特征映射，此网络可表示为Squeezenet-DeconvNet，由此每个特征点都由独立的Squeezenet-DeconvNet网络进行建模，减少了去卷积网络的参数量；在Squeezenet-DeconvNet中，只有32或16个去卷积滤波器，此设计控制了网络体量，能够适应单一GPU的情况，并提高了网络的学习效率。

5.基于权利要求2所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述3D头部姿态的调节，主要采用贝叶斯方法进行，PCD-CNN基于2D图像运行，而2D图像中人的姿态通常为3D，采用3D姿态适应可从姿态中获取特征点的2D坐标，此过程可用贝叶斯概率公式表示：

P(C,P,I)＝P(C|P,I)P(P|I)P(I) (1)

其中，I表示输入的RGB人脸图像，P表示3D头部姿态，C表示2D特征点；P()表示概率，P(|)为条件概率，P(,,)为联合概率；P(I)表示得到2D图像的概率，P(P|I)为在已知2D人脸图像的条件下得到3D头部姿态的概率，通过基于图像的卷积神经网络得到；P(C,P|I)为已知2D人脸图像条件下得到3D头部姿态和特征点的概率，P(C|P,I)为已知2D人脸图像和3D头部姿态的条件下的概率；P(P|I)通过基于图像的卷积网络进行模拟，P(C|P,I)通过PCD-CNN进行模拟；与传统的多任务方法对联合概率分布相比，本方法通过对个体因素概率分布的模拟，对图像的处理更具有实时性和精确性。

6.基于权利要求1所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述模块化辅助任务卷积神经网络(二)，具体包括：是通用卷积神经网络，用于运行人脸对齐的辅助任务，以提高人脸对齐的精度；人脸对齐的辅助任务包括：细粒度定位和遮脸探测；细粒度定位：为了获得细粒度定位结果，找到输入数据即预测概率的学习函数，并通过第二个卷积网络传递输入数据，该函数由具有1×1和3×3滤波器的残差单元进行模拟；遮脸探测：将模块化辅助任务卷积神经网络在COFW数据集上训练，训练方法与训练PCD-CNN的方法相同，使网络具有在面部被遮挡的情况下找到特征点的能力，其中，COFW数据集为面部遮挡图像数据集。