[发明专利]一种基于多尺度特征的人体图像解析方法

说明书

本发明公开了一种基于多尺度特征的人体图像解析方法。本发明首先利用残差网络对人体图像不断进行下采样；然后利用双线性插值和通道压缩的方法不断对人体特征图进行上采样；最后通过多尺度特征融合的方式将上采样和上采样过程中产生的人体特征图进行多尺度特征融合，以同时利用不同感受野大小的人体图像信息。本发明利用不同倍率的空洞卷积做多尺度特征融合，有效解决传统人体解析方法对于人体边缘检测像素精度不够的问题，相比现有特征融合方法能大幅提高效率和精度。

技术领域

本发明涉及一种基于多尺度特征的人体图像解析方法，属于互联网计算机视觉技术领域。

背景技术

自2012年AlexNet在图像分类任务中取得了惊人的成果，卷积神经网络在深度学习中的地位变得不可替代。它在计算机视觉领域表现卓越，几乎替代了以前的传统机器学习方法。经众多研究者进一步探索之后，基于深度学习的图片分类或检测技术已经较为成熟和饱和，研究者们开始着重于研究更为复杂的像素级分类问题，如语义分割(semanticsegmentation)。通用语义分割是目前最具挑战性的任务之一，其任务是对图片中每一个像素进行分类。

人体语义分割，又称人体解析(human parsing)，是语义分割的子任务。其目标是将一个人身体的各个部位或者所着衣物配饰加以识别，亦可称为服装解析(clothingparsing)。所有组成人体的像素均被标记，并且归类为对应类别。人体语义分割在诸多领域均有应用，如人体外观转移(human appearance transfer)、行为识别(behaviorrecognition)、行人重识别(person re-identification)、时装合成(fashionsynthesis)。因此，人体解析具有重要的研究意义和应用价值。

和通用语义分割不同，人体解析集中于以人为中心的分割，须识别出人体的脸部、肩膀、手臂、腿部等区域，从像素级别提取人体图像的语义特征。基于卷积神经网络的人体解析已经获得了极大的突破，但面对多变的人体姿态、复杂的场景、多变的衣着等挑战，以及网络模型本身对人体语义特征学习的不足，容易造成解析结果区域不连续、错误识别、边缘勾勒不精细等问题，这些问题严重影响着解析精度。

发明内容

为解决上述问题，本发明提出一种基于多尺度特征的人体图像解析方法，利用改进的残差网络提取人体图像特征，并使用双线性插值和通道压缩对人体特征进行上采样，最终通过多尺度特征融合进行像素级的预测。

为了达到上述目的，本发明提供的一种基于多尺度特征的人体图像解析方法，首先利用改进的残差网络对人体图像不断进行下采样特征提取，然后利用双线性插值和通道压缩的方法不断对人体特征图上这些特征进行上采样，在上采样和下采样的过程中利用多尺度特征融合的方式对人体图像的高阶和低阶特征进行多尺度特征融合，以同时利用不同感受野大小的人体图像信息。

具体的，一种基于多尺度特征的人体图像解析方法，包括如下步骤：

步骤1，对人体图片进行下采样

首先改进ResNet残差网络，使其适用于人体解析任务，然后将输入人体图像的大小调整为128×128，使其适用于改进的ResNet，并输出人体特征图；

步骤2，对人体图片进行上采样

使用双线性插值和通道压缩不断对人体特征图进行上采样，最终恢复至原始尺寸；

步骤3，多尺度特征融合人体高阶和低阶特征

对于步骤1和步骤2中每一步产生的人体特征图，在不改变特征图尺寸的前提下，使用不同倍率的空洞卷积将低阶特征和高阶特征融合。

进一步的，所述步骤1根据公式(1)，输出为16×16×512的人体特征图：

其中，M为输出的尺寸，N是原始图像的尺寸，P是填充个数，F是卷积核尺寸，S是卷积步长。