[发明专利]一种基于参数硬共享的姿态估计与人体解析联合学习系统

权利要求书

1.一种基于参数硬共享的姿态估计与人体解析联合学习系统，其特征在于，其包括多尺度特征提取模块、联合学习模块、人体解析分支和姿态估计分支四个部分；其中：

（1）多尺度提取模块，用于融合不同尺度图像特征，并输出融合后的各尺度图像特征；

该模块由ResNet-101网络，三个1*1卷积层、两个转置卷积层和两个融合层组成，模块的输入是图像，经过ResNet-101网络得到三个尺度的特征图C1、C2和C3，将三个尺度的特征图分别经过一个1*1卷积层得到特征图E1、E2和E3，将特征图E1通过一个转置卷积层的结果与E2送入融合层得到融合特征图FM-1，将融合特征图FM-1通过另一个转置卷积层的结果与E3送入融合层得到融合特征图FM-2，最终整个模块输出融合特征图FM-1，FM-2和最高层的增强特征图E1；

（2） 联合学习模块，用于进一步提取图像特征，输出姿态估计与人体解析的联合特征；

该模块分为多孔空间金字塔池化子模块、去局部化子模块和卷积子模块三部分；

多孔空间金字塔池化子模块提取大尺度特征，输出特征图，多孔空间金字塔池化子模块有3套独立的模块参数，输入分别是FM-1、FM-2和E1，输入同时经过四种不同采样率的空洞卷积层生成四个特征图A1、A2、A3和A4，再经过融合层将A1、A2、A3和A4的逐元素相加得到通道数为1024的特征图，三个输入分别得到特征图FM-3，FM-4，FM-5；

去局部化子模块为特征图每个元素添加所有元素的信息，该子模块由三个卷积层，两个矩阵乘法层，一个融合层组成；该子模块有三套独立的参数，输入分别是FM-3，FM-4，FM-5，输入同时经过三个卷积层得到三个特征图N1、N2、N3，将N1与N2送入一个矩阵乘法层得到特征图M1，再将M1与N3送入另一个矩阵乘法层得到特征图M2，最后将M2与输入特征图FM-3或FM-4或FM-5进行逐元素相加得到融合特征图，三个输入分别得到融合特征图FM-6，FM-7，FM-8；

卷积子模块进一步提取特征图的特征，该子模块同样有三套独立的模块参数，输入分别是FM-6，FM-7，FM-8；该子模块包含两组独立的包含四个3*3卷积层的卷积块，同时对经过非局部化处理的融合特征图进行卷积处理，卷积结果FM-9用于人体解析分支，FM-10同时用于人体解析分支与姿态估计分支，三个输入分别对应卷积结果FM-9-1、FM-10-1，FM-9-2、FM-10-2、FM-9-3、FM-10-3；

（3）人体解析分支，基于姿态估计与人体解析的联合特征得到人体解析的结果；

人体解析分支包含三个子分支：中心点置信度预测子分支、中心点分类预测子分支和中心-边缘距离预测子分支；各子分支都有三套独立的模块参数，输入分别是FM-9-1、FM-10-1，FM-9-2、FM-10-2，FM-9-3、FM-10-3；三个子分支均由四个堆叠的3*3卷积层构成，其中距离预测子分支仅使用FM-9作为输入，而中心点分类预测子分支和中心-边缘距离预测子分支仅使用FM-10作为输入；每个子分支通过非极大值抑制NMS保留三套参数对应输出的最佳结果作为该子分支输出；

中心点置信度预测子分支输出热力图，热力图每个点表示以该点作为部位中心的置信度；中心点分类预测子分支输出分类图，分类图每个点表示，若以该点为某部位中心，则此部位分类结果；中心-边缘距离预测子分支则输出距离图，距离图每个点表示若以该点为某部位中心，则此部位中心到边缘的距离；

通过三个步骤综合三个子分支的输出结果：

步骤1，输入图像中的点和距离图中的点一一对应，输入图像中的每个点利用距离预测结果得到一个以该点为中心的部位多边形；

步骤2，利用该点的分类预测和置信度预测结果，得到部位多边形的分类和分类得分，H*W大小的输入图像共得到H*W个部位多边形及其分类与得分，H，W分别代表输入图像的宽和高；

步骤3，将输入图像中每个点所处的部位多边形分类作为该点的部位分类，如果点处于多个部位多边形中则以分类得分最高的部位多边形的分类作为此点的部位分类，最后输出一张H*W的分类图，每一个点的值代表该点的部位分类结果；

（4）姿态估计分支，基于姿态估计与人体解析的联合特征得到姿态估计的结果；其中：

姿态估计分支包含两个子分支：关键点置信度预测子分支和关键点分类预测子分支；每个子分支同样有三套独立的模块参数，输入分别是FM-10-1、FM-10-2和FM-10-3，每个子分支通过非极大值抑制NMS保留三套参数对应输出的最佳结果作为该子分支输出，两个子分支均由四个堆叠的3*3卷积层构成；

关键点置信度预测子分支输出热力图，热力图每个点表示以该点作为人体关键点的置信度，关键点分类预测子分支输出分类图，分类图每个点表示该点的关节分类；

通过2个步骤综合2个子分支的输出结果：

步骤1，输入图像中的点和分类图中的点一一对应，通过分类预测结果得到输入图像中每个点的关节点分类；

步骤2，输入图像中的点和热力图中的点一一对应，通过热力图得到每个点的分类置信度，分到同一类别的点只保留置信度最高的点作为关节点，最后输出一张H*W的骨架图，H，W分别代表原始图像的宽和高，每一个点的值是一个三元组，三元组的第一个第二个

值代表该关节点的坐标，第三个值代表该关节点的分类置信度。