[发明专利]多任务卷积神经网络模型及使用方法、装置和存储介质

权利要求书

1.一种多任务卷积神经网络模型，用于同时对输入图像中的人脸目标进行边界框检测和关键点定位，其特征在于，包括区域提取模块和关键点定位模块；

所述区域提取模块包含多个级联的卷积栈，每个所述卷积栈由多个卷积层组成，以分别输出不同语义的特征图；所述区域提取模块用于检测输入图像中人脸边界框的位置；

所述关键点定位模块包括第一子模块、第二子模块和第三子模块；

所述第一子模块用于执行任务间的特征融合，所述任务间的特征融合为根据所述区域提取模块检测到的人脸边界框的位置，提取相应的人脸特征图，并融合所述人脸特征图得到第一融合特征图；

所述第二子模块用于执行任务内的特征融合，所述任务内的特征融合为采用密集编码结构，将所述第一融合特征图进行连续编码，得到第二融合特征图；

所述第三子模块用于将所述第二融合特征图进行解码后，使用卷积算子对解码后的特征图进行编码，以输出相应的关键点热度图，并根据所述关键点热度图，定位关键点坐标；

第一子模块执行任务间的特征融合这一操作，具体包括：

根据所述区域提取模块检测到的人脸边界框的位置，提取多幅相应的人脸特征图；

分别采用感兴趣区域对齐方法和L2标准化方法处理所述多幅相应的人脸特征图，以统一不同特征图的大小和量纲，并得到第一人脸特征图；

使用全局管道注意力机制，将所述第一人脸特征图进行管道加权处理，得到第二人脸特征图；

使用全局空间注意力机制，将所述第二人脸特征图进行空间维度加权处理，得到第一融合特征图；

所述全局管道注意力机制是通过以下步骤执行的：

利用两个并行的分离式卷积过滤器，分别从水平方向和垂直方向对所述第一人脸特征图进行全局编码，得到一维特征图；

合并所述一维特征图；

进行卷积操作，以恢复所述一维特征图的管道维度；

通过sigmoid操作归一化相应的特征值，以生成匹配所述第一人脸特征图的管道权值；

根据所述管道权值，对所述第一人脸特征图的每个管道进行加权处理，得到第二人脸特征图；

所述全局空间注意力机制是通过以下步骤执行的：

对所述第二人脸特征图进行边缘填充处理；

利用两个并行的分离式卷积过滤器，分别对边缘填充处理后的特征图进行全局编码；

合并编码后的特征图；

利用反卷积操作将合并得到的特征图进行空间维度恢复处理；

通过sigmoid操作归一化相应的特征值，以生成匹配所述第二人脸特征图的空间权值；

根据所述空间权值，对所述第二人脸特征图的每一个空间像素点进行加权处理，得到第一融合特征图。

2.根据权利要求1所述的一种多任务卷积神经网络模型，其特征在于，区域提取模块检测输入图像中人脸边界框的位置这一操作，具体包括：

区域提取模块获取输入图像；

经过多次并行卷积处理得到区域类别响应图，每个所述区域类别响应图对应多个区域位置响应图；

所述区域类别响应图中的每个像素点限定相应尺度的参考区域；

所述区域位置响应图修正相应参考区域的位置和大小；

检测得到输入图像中人脸边界框的位置。

3.根据权利要求1所述的一种多任务卷积神经网络模型，其特征在于，第二子模块包括多个组合单元，每个所述组合单元包括多个ReLU激活的卷积层；所述第二子模块执行任务内的特征融合这一操作，具体包括：

利用多个所述组合单元执行任务内的特征融合操作；

使用密集编码结构，所述密集编码结构为使用密集的跳转连接对目标组合单元进行中间特征融合，并输入到与目标组合单元相邻的下一个组合单元进行特征编码，所述目标组合单元为所述第二子模块中的任意一个组合单元；

根据所述密集编码结构，对所述第一融合特征图进行连续编码，得到第二融合特征图。

4.根据权利要求1所述的一种多任务卷积神经网络模型，其特征在于，根据所述关键点热度图，定位关键点坐标这一操作，具体包括：

获取每个关键点热度图里的目标像素点坐标，所述目标像素点坐标为预测概率值大于第一阈值的像素点坐标；

对所述目标像素点坐标进行加权平均计算，得到相应的关键点坐标。