[发明专利]一种基于图卷积和注意力机制的人体图像解析方法

说明书

本发明涉及一种基于图卷积和注意力机制的人体图像解析方法，属于图像处理技术领域。其主要是先提取人体图像的基础特征，进而利用多尺度空洞卷积提取人体图像的多尺度上下文信息；之后利用双通道多层图卷积神经网络进一步优化并提取人体结构特征；最后利用节点级注意力机制对双通道多层图卷积神经网络得到的图数据进行图节点特征融合，得到优化后的高层语义特征与提取的基础特征进行拼接，并经过双线性上采样输出最终人体图像解析结果。本发明通过双通道多层图卷积神经网络获取多尺度的结构特征信息，增强网络的特征表达能力，并利用节点级注意力机制进一步优化提取高层语义特征，实现对人体解析中小部件的准确分割，提高人体的解析精度。

技术领域

本发明涉及一种基于图卷积和注意力机制的人体图像解析方法，属于图像处理技术领域。

背景技术

近年来，人体解析已经成为了一个活跃的研究领域，作为一种细粒度的语义分割任务，人体解析是将含有人体的图像分割成多个语义上一致的区域，以区分不同的人体部位和穿戴标签，其在人机交互、虚拟现实、视频监控、人类行为分析等多个领域有着广泛地应用。

人体解析的主要任务是分类识别，对给定的人体图像通过特征抽取分类来预测其类别。近年来，基于图的模型因其对图结构数据的有效表示而受到广泛关注，现有的图形模型主要可分为两种，图神经网络和图卷积网络。图神经网络是将图与递归神经网络结合，通过消息传递与节点状态更新的多次迭代，每个节点捕捉其相邻节点内的语义信息和结构信息；图卷积网络是将用来提取空间上有相关性数据的卷积神经网络扩展到图模型；二者在人体解析中均取得较好的应用效果。

在图卷积网络模型进行人体解析的过程中，由于卷积层数不同，或多或少会导致一些局部细小特征丢失，造成解析错误，此外人体部件的复杂度及背景的多样化也会造成细小部件的分割错误，进而影响人体解析的精度。

发明内容

本发明的目的是提供一种基于图卷积和注意力机制的人体图像解析方法，用来实现人体图像解析过程中小部件的准确分割，提升人体图像解析精度。

本发明提供的基于图卷积和注意力机制的人体图像解析方法，该方法包括以下步骤：

1)获取人体图像，并对所获图像进行基础特征提取；

2)采用双通道神经网络对基础特征进行多尺度特征提取，并利用对应的特征图变换模块将多尺度特征数据转换成对应的图数据；

3)将每个通道获得的多尺度图数据采用对应的多层图卷积神经网络进行优化，得到第一通道图数据G_A和第二通道图数据G_B；并利用节点级注意力机制对第一通道和第二通道的图数据的图节点特征和进行融合，得到融合后的图数据G；

4)将获得的图数据G_A、G_B和G采用对应的特征图反变换模块转换成对应的高级语义特征F₁、F₂和F₃；

5)将人体图像的基础特征与获得的高级语义特征F₁、F₂和F₃进行拼接生成特征图F，得到最终人体解析结果。

本发明提供了一种基于图卷积和注意力机制的人体解析方法，采用双通道的多层图卷积网络模型优化提取的多尺度结构特征，增强网络的特征表达能力，并利用节点级注意力机制实现两个通道图数据的融合，进一步优化多尺度结构特征生成高级图数据，在此过程中，利用特征图变换模块和特征图反变换模块实现空间特征数据到图数据的变换和反变换，最后，经过特征图反变化模块得到的高级语义特征F₁、F₂和F₃与初始特征进行拼接，从而实现对人体解析中小部件的准确分割，改善边缘分割不准确现象，提高人体图像的解析精度。

进一步地，所述步骤1)中采用深度残差网络对人体图像进行基础特征提取。