[发明专利]行人属性信息提取方法及装置

权利要求书

1.一种行人属性信息提取方法，其中，所述方法利用卷积神经网络执行，其中，所述卷积神经网络包括初步特征提取模型、行人分割特征提取模型、行人属性特征提取模型和全连接层，所述方法包括：

初步特征提取步骤，将行人图像输入到所述初步特征提取模型中，获得所述行人图像的初步特征；

分割特征提取步骤，将所述初步特征输入到所述行人分割特征提取模型中，提取行人分割特征；

属性特征提取步骤，将所述初步特征输入到所述行人属性特征提取模型中，提取行人属性特征；

特征融合步骤，将所述行人分割特征与所述行人属性特征进行融合，获得融合特征；

属性信息预测步骤，将所述融合特征输入到所述全连接层中，获得预测的行人属性信息；

相应的，所述特征融合步骤包括：根据所述行人分割特征获得行人分割位置信息；利用所述行人分割位置信息掩码所述行人属性特征中的部分行人属性特征，得到感兴趣区域的行人属性特征，从而获得所述融合特征。

2.根据权利要求1所述的方法，其中，所述行人分割特征提取模型包括多层卷积以及多层反卷积神经网络。

3.根据权利要求1所述的方法，其中，所述特征融合步骤包括：

将所述行人分割特征与所述行人属性特征执行按位相加和/或按位相乘运算，获得所述融合特征。

4.根据权利要求1所述的方法，其中，所述行人分割特征包括行人分割语义信息，所述行人属性特征包括行人属性语义信息，并且，

所述特征融合步骤包括：

根据所述行人分割语义信息和所述行人属性语义信息之间的语义关联性，获得所述融合特征。

5.根据权利要求1所述的方法，其中，所述卷积神经网络是通过以下步骤进行训练而获得的：

初步特征提取训练步骤，将样本行人图像输入到所述初步特征提取模型中，获得所述样本行人图像的样本初步特征；

分割特征提取训练步骤，将所述样本初步特征输入到所述行人分割特征提取模型中，提取样本行人分割特征；

属性特征提取训练步骤，将所述样本初步特征输入到所述行人属性特征提取模型中，提取样本行人属性特征；

特征融合训练步骤，将所述样本行人分割特征与所述样本行人属性特征进行融合，获得样本融合特征；

属性信息预测训练步骤，将所述样本融合特征输入到所述全连接层中，获得预测的样本行人属性信息；

损失函数计算步骤，根据所述样本行人分割特征、所述样本行人属性特征和所述样本行人属性信息计算所述卷积神经网络的整体损失函数；

损失函数反馈步骤，将所述整体损失函数反馈到所述卷积神经网络；

参数调整步骤，根据所述整体损失函数调整所述卷积神经网络的参数，直到所述卷积神经网络收敛。

6.根据权利要求5所述的方法，其中，所述损失函数计算步骤包括：

根据所述样本行人分割特征计算分割损失函数；

根据所述样本行人属性特征计算属性特征损失函数；

根据所述样本行人属性信息计算属性信息损失函数；

对所述分割损失函数、所述属性特征损失函数和所述属性信息损失函数进行加权求和，获得所述整体损失函数。