[发明专利]一种基于图卷积和注意力机制的人体图像解析方法

权利要求书

1.一种基于图卷积和注意力机制的人体图像解析方法，其特征在于，该方法包括以下步骤：

1)获取人体图像，并对所获图像进行基础特征提取；

2)采用双通道神经网络对基础特征进行多尺度特征提取，并利用对应的特征图变换模块将多尺度特征数据转换成对应的图数据；

3)将每个通道获得的图数据采用对应的多层图卷积神经网络进行优化，得到第一通道图数据G_A和第二通道图数据G_B；并利用节点级注意力机制对第一通道和第二通道的图数据的图节点特征和进行融合，得到融合后的图数据G；

4)将获得的图数据G_A、G_B和G采用对应的特征图反变换模块转换成对应的高级语义特征F₁、F₂和F₃；

5)将人体图像的基础特征与获得的高级语义特征F₁、F₂和F₃进行拼接生成特征图F，得到最终人体解析结果。

2.根据权利要求1所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述步骤1)中采用深度残差网络对人体图像进行基础特征提取。

3.根据权利要求1所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述步骤2)中的双通道神经网络均采用空洞卷积模型，两个通道的空洞卷积模型的卷积核大小相同，空洞率不同。

4.根据权利要求1所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述步骤2)中特征图变换模块是为实现空间特征数据R^H×W×C到图数据R^N×M的转换，转换过程为：首先将R^H×W×C进行维度变换得到R^HW×C；之后分别通过矩阵R^C×M实现R^HW×C到R^HW×M的转换，矩阵R^N×HW实现R^HW×M到R^N×M的转换；最后将得到的R^N×M利用激活函数进行非线性激活；

其中，H为特征高度，W为特征宽度，N是图节点个数，C是特征图的通道数，M是图数据中图节点的特征维度。

5.根据权利要求1所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述步骤3)中的图卷积神经网络模型为：

其中，H_l表示网络中的第l层，A为邻接矩阵，D为度矩阵，W_l是可学习的权重参数，σ(·)是非线性激活函数，～是一种规范化符号。

6.根据权利要求5所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述的多层图卷积神经网络的卷积层数为3层。

7.根据权利要求5所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述的多层图卷积神经网络模型中图节点的个数为标注的人体部件个数，图节点间的连接关系为人体结构的自然连接关系。

8.根据权利要求1所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述步骤3)中采用节点级注意力机制进行图节点特征融合的公式为：

其中，对于图数据G_A，表示图数据中的第i个图节点属性，对于图数据G_B，表示图数据中的第i个图节点属性，是网络学习的权重矩阵；对于所有的节点，σ＝[σⁱ]，最终输出的融合图数据为G＝σ·G_A+(1-σ)·G_B。

9.根据权利要求1所述的基于图卷积和注意力机制的人体图像解析方法，其特征在于，所述步骤5)中最终的人体解析结果由特征图F经过双线性上采样得到。