[发明专利]多任务卷积神经网络模型及使用方法、装置和存储介质

说明书

本发明公开了一种多任务卷积神经网络模型，及使用所述模型同时对输入图像中的人脸目标进行边界框检测和关键点定位的方法、装置及存储介质。所述模型中的区域提取模块能够检测输入图像中人脸边界框的位置，而关键点定位模块能够定位人脸关键点的坐标；并且，关键点定位模块通过使用全局管道注意力机制和全局空间注意力机制，能够让模型学习特征图的管道权值和空间权值，从而在不同的维度中挖掘出更具识别能力的特征和信息；使用所述模型同时对输入图像中的人脸目标进行边界框检测和关键点定位的方法在各种非约束条件下，包括表情、姿态和遮挡，都可以获得精确的结果，且该方法简洁高效，更具有鲁棒性。本发明广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种多任务卷积神经网络模型，及使用所述模型同时对输入图像中的人脸目标进行边界框检测和关键点定位的方法、装置及存储介质。

背景技术

人脸检测技术最初起源于人脸识别，是计算机视觉领域中一个核心并且历史悠久的研究分支，是人脸相关应用里至关重要的第一步。在近几十年里，人脸检测已经引起了人们的高度重视，被认为是图像分析中成功的应用之一。面孔是复杂的、多维的、有意义的视觉刺激，开发一个面部识别的计算模型是困难的。计算机通过运用一定的搜索匹配方法在给定的图像中检测出是否包含人脸，并确定人脸所在的具体位置、大小、姿态的过程就是指人脸检测，同时其被认为是人脸相关研究应用的前提和基础，用它来辅助人们完成对生物特征的识别，将是一件具有重大研究价值和意义的事情。人脸检测是许多后续人脸分析相关应用的关键步骤，例如人脸对齐、人脸识别、人脸跟踪等。人脸检测效果的优劣对后续相关应用的性能起着决定性作用，它也属于目标检测的一种特定情况。人脸检测的最终目的就是在给定任意图像中判断是否有人脸的存在，若存在人脸，需要定位其具体的位置，并用矩形框示意。虽然这对于人类而言似乎是一项毫不费力的工作，但是于计算机来说，则是十分艰巨而又繁杂的，它不同于人的大脑神经，可以通过视网膜上的成像条件反射的进行分析，立马得出我们想要的结果。计算机要在输入的图像中搜索到人脸的具体位置十分具有挑战性，由于每个人的相貌不同，人脸成像的角度，相关的挑战还可以归因于姿态、尺度、面部表情，遮挡和照明条件的变化，这些都给计算机的检测带来了极大的困难。随着环境应用的复杂化以及卷积神经网络的飞速发展，其在各种视觉任务中都有出色的表现，例如人脸识别，目标分类和物体检测。现有技术中，对于目标检测任务，通过R-CNN方法使用图像分割技术，选择性搜索，找到候选图像区域，并且使用AlexNet的版本对候选图像进行分类，调整PASCAL VOC数据集中的目标对象。目前，采用卷积神经网络结构进行人脸检测存在以下问题：一、现有的人脸检测算法大多采用滑动窗口的方法扫描图片，滑动窗口的数量过多容易导致计算量较大，从而影响检测速度；二、传统的卷积神经网络各网络层的权值均采用随机初始化的方式，容易造成网络收敛慢、训练时间长的问题；三、无法同时对输入图像中的人脸目标进行边界框检测和关键点定位。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种多任务卷积神经网络模型，及使用所述模型同时对输入图像中的人脸目标进行边界框检测和关键点定位的方法、装置及存储介质。

本发明所采取的技术方案是：一方面，本发明实施例包括一种多任务卷积神经网络模型，用于同时对输入图像中的人脸目标进行边界框检测和关键点定位，包括区域提取模块和关键点定位模块；

所述区域提取模块包含多个级联的卷积栈，每个所述卷积栈由多个卷积层组成，以分别输出不同语义的特征图；所述区域提取模块用于检测输入图像中人脸边界框的位置；

所述关键点定位模块包括第一子模块、第二子模块和第三子模块；

所述第一子模块用于执行任务间的特征融合，所述任务间的特征融合为根据所述区域提取模块检测到的人脸边界框的位置，提取相应的人脸特征图，并融合所述人脸特征图得到第一融合特征图；

所述第二子模块用于执行任务内的特征融合，所述任务内的特征融合为采用密集编码结构，将所述第一融合特征图进行连续编码，得到第二融合特征图；