[发明专利]多任务学习深度网络的训练方法、设备及存储介质

说明书

本发明实施例公开了多任务学习深度网络的训练方法、设备及存储介质。本发明实施例通过将训练集输入多任务学习深度网络中，从多任务学习深度网络中的若干层卷积层和池化层分别输出相应的运算结果，并将输出的运算结果进行特征融合，利用特征融合数据进行多任务学习中的每个任务的学习，分别输出每个任务对应的预测结果。上述训练方法利用特征融合的方式将多任务学习深度网络中的多个卷积层和池化层输出的运算结果进行特征融合，利用特征融合数据进行多任务学习，进而提高多任务学习中每个任务的检测精度，改善多任务学习网络的性能。

技术领域

本发明实施例涉及生物识别领域，特别是涉及多任务学习网络的训练方法、训练设备及存储介质。

背景技术

人脸识别是计算机视觉课题中的重要问题，其中相对重要的几个方面为人脸检测、面部特征点识别、面部特征点定位等。许多视觉任务依赖于准确的面部特征点定位结构，比如面部识别、面部表情分析以及面部动画等。虽然在近年来被广泛的研究使用，并取得了一定程度的成功，但由于部分遮挡、光照、较大程度的头部旋转以及夸张的表情变化等因素，导致人脸图像的复杂性和多样性，面部特征点定位仍然面临诸多问题和挑战。

在现有技术中，面部特征点定位的方法大致可以分为两类：传统方法和基于深度学习的方法。典型的传统方法包括基于模型的方法和基于回归的方法；基于模型的方法在给定平均初始形状的情况下学习形状增量，如主动形状模型(Active Shape Mode，ASM)和主动外观模型(active appearance model，AAM)，采用统计模型如主成分分析(PrincipalComponent Analysis，PCA)来分别捕获形状和外观变化；然而，由于单一的线性模型很难刻画现实场景数据中的复杂非线性变化，因此基于模型的传统方法不能获得具有较大程度的头部姿态变化和夸张的面部表情等人脸图像的精确形状。传统方法中的基于回归的方法则是通过训练外观模型来预测关键点位置。有研究人员通过在尺度不变特征变换(Scale-invariant feature transform，SIFT)上应用线性回归来预测形状增量。此外，也有研究人员提出使用像素强度差异作为特征顺序学习一系列随机蕨回归，并逐步退化学习级联的形状，他们对所有参数同时进行回归，从而有效地利用形状约束；即基于回归的方法主要从初始的估计迭代地修改预测的特征点位置，因此最终结果高度依赖于初始化。

对于基于深度学习的方法，目前既有几种方式。Sun等人提出了采用三级级联卷积神经网络框架进行面部特征点定位的新方法，经过运用卷积神经网络(CNN)对人脸的5个特征点(即左右眼睛、鼻尖，左右嘴角)进行回归，同时采用不同级别的卷积神经网络来对特征点组合微调。此外，Zhang等人提出一种由粗到细的深度非线性特征点定位方法(Coarse-to-Fine Auto-Encoder Networks，CFAN)，使用连续自编码器网络实现非线性回归模型。这两种方法都使用多个深度网络通过级联的方式逐步定位特征点。他们为每张图像从粗到细的搜寻最佳的特征点位置，显示出比以前的特征点定位方法具有更高的精度，然而对遮挡问题却无法有效处理。此外，因为采用多个卷积神经网络结构，随着面部特征点数量的增加，定位所有点的时间消耗也相应增大。在现实的无约束环境中，面部特征点定位实际上并不是一个单独的任务，它也会被各种各样的因素干扰着，如：头部的摆动、性别的差异，都会影响特征点定位的准确性。

发明内容

本发明实施例主要解决的技术问题是提供一种多任务学习深度网络的训练方法，能够改善多任务学习网络的性能。

为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种多任务学习深度网络的训练方法，该训练方法包括：

将训练集逐级输入多任务学习深度网络中级联的若干层卷积层和池化层，从所述若干层卷积层和池化层分别输出相应的第一运算结果；

将所述第一运算结果输入所述多任务学习深度网络的特征融合全链接层，输出特征融合数据；