[发明专利]一种基于参数硬共享的姿态估计与人体解析联合学习系统

说明书

本发明属于计算机视觉技术领域，具体为一种基于参数硬共享的姿态估计与人体解析联合学习系统。该系统分为多尺度特征提取模块、联合学习模块、人体解析分支和姿态估计分支四个部分。输入图像首先经过多尺度特征提取模块得到不同尺度下的图像特征，并进行跨尺度的特征融合；再将各尺度的特征分别送入联合学习模块，得到姿态估计与人体解析的联合特征；最后将姿态估计与人体解析的联合特征分别送入姿态估计分支和人体解析分支中得到姿态估计与人体解析的结果。本发明提出了用于姿态估计与人体解析的多任务联合学习系统。本发明所提系统在姿态估计与人体解析任务上的表现优秀。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于参数硬共享的姿态估计与人体解析联合学习系统。

背景技术

姿态估计与人体解析是进行人体分析的两个基本任务，是上层任务(例如行人再识别、人机交互、行为识别等)的基础。姿态估计预测出人体的姿态结构，其结果形式是人体各关键点的准确坐标。而人体解析将包含若干人的图像按照语义不同分割成多个部分(例如手臂，鞋子，头发等)，其结果形式是逐像素的分类预测。两个任务均是对人体结构进行分析，具有较强的相关性，然而由于两者结果的表示形式不同，目前已有的工作大多将他们视为孤立的两个任务，未能很好的利用两个任务之间的关联。另一方面，已有的工作大多采用“先检测再分析”的两阶段框架，该框架首先使用通用目标检测算法从图像中检测出若干个人体的响应框，再对其进行人体解析与姿态估计。人体响应框的检测引入了大量额外误差，大大降低了人体解析与姿态估计任务的准确率；检测与分析阶段会多次对原图进行特征提取，也大大降低了程序的运行效率。

发明内容

为解决现有技术存在的问题，本发明提出了一种基于参数硬共享的姿态估计与人体解析联合学习系统，以提高人体解析与姿态估计任务检测的准确率和效率。

本发明提供的系统分为多尺度特征提取模块、联合学习模块、人体解析分支、姿态估计分支4部分。下面介绍系统各部分的具体内容：

一、多尺度特征提取模块

多尺度特征模块融合不同尺度图像特征，并输出融合后的各尺度图像特征。该模块由ResNet-101，三个1*1卷积层、两个转置卷积层和两个融合层组成。模块的输入是图像，经过ResNet-101得到三个尺度的特征图C1、C2和C3，将三个尺度的特征图分别经过一个1*1卷积层得到特征图E1、E2和E3。将E1通过转置卷积层1的结果与E2送入融合层得到融合特征图FM-1，将FM-1通过转置卷积层2的结果与E3送入融合层得到融合特征图FM-2。最终整个模块输出融合特征图FM-1，FM-2和最高层的增强特征图E1。

二、联合学习模块

联合学习模块用于进一步提取图像特征输出特征图。该模块分为多孔空间金字塔池化子模块、去局部化子模块和卷积子模块三部分。模块结构如图3所示。

(1)多孔空间金字塔池化子模块

多孔空间金字塔池化^[1]子模块提取大尺度特征，输出特征图。多孔空间金字塔池化子模块有3套独立的模块参数，输入分别是FM-1、FM-2和E1。输入同时经过四种不同采样率的空洞卷积层生成四个特征图A1、A2、A3和A4，再经过融合层将A1、A2、A3和A4的逐元素相加得到通道数为1024的特征图。三个输入分别得到特征图FM-3,FM-4,FM-5。

(2)去局部化子模块

去局部化^[2]子模块为特征图每个元素添加所有元素的信息，该子模块由3个卷积层，两个矩阵乘法层，一个融合层组成。该子模块有三套独立的参数，输入分别是FM-3,FM-4,FM-5。输入同时经过三个卷积层得到三个特征图N1、N2、N3，将N1与N2送入矩阵乘法层得到特征图M1，再将M1与N3送入矩阵乘法层得到特征图M2，最后将M2与输入特征图FM-3,FM-4,FM-5进行逐元素相加得到融合特征图。三个输入分别得到融合特征图FM-6,FM-7,FM-8。