[发明专利]针对人体属性分类的自适应权重调整的模型训练方法

权利要求书

1. 一种自适应权重调整的多任务模型训练方法，其特征在于，具体步骤如下：

（1）人脸以及行人图片的收集和属性类别的标注

收集一定的原始图片数据，用于人体属性分析模型的训练；对于每张图片有相应的人体的属性类别标注；人脸属性包括：是否戴眼镜，是否戴口罩，是否佩戴墨镜，是否化妆，是否年轻，头发长短，头发是否卷曲，眉毛浓密，眼睛大小，是否为双眼皮，鼻子是否高挺，是否有双下巴；行人的属性包括袖子长度，下身服装长度，服装风格，背包，手提包，上身服装颜色和下身服装颜色；

（2）构建深度神经网络

包括：输入层，基础网络，多任务权重控制层，基础网络包括卷积层、全连接层、池化层；基础网络结构框架采用ResNet-50框架；其中：

输入层负责接受输入；

输入图像经过第一层的卷积层conv1，再经池化层，并通过全连接层进行特征提取；其中，在第一个和最后一个的卷积层后连接有池化层，池化层对相邻区域值做聚合，使得网络可容忍一定的形变；经过卷积和池化操作后，将提取得到的特征输入全连接层，全连接层是对输入的特征做一个线性变换，将输入的特征投影到一个更好的子空间，从而完成属性预测任务；网络的最后为多任务权重控制层，负责计算预测的属性和标注信息间的差异值，并通过反向传播完成对权重的自适应调整；

（3）训练深度神经网络

采用自适应权重调整的多任务模型训练方法来训练多任务人体属性分析模型，引入一个基于验证误差的可在训练过程中动态地调整每个任务的权重的算法；每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势决定，通过不断迭代计算和反向传播，优化深度网络模型中的参数；

（4）利用步骤（3）中的深度网络模型，进行人体属性预测

在上述深度模型训练完成后，对于一张给定的人脸或行人图片，输出该图像中对于人脸属性或者行人属性的预测结果；

除最后的多任务权重控制层、全连接层和所有的池化层外，网络中每层后面均连接有非线性层，采用Relu作为激活函数，函数表示为f(x) = max(0, x)；

所述深度神经网络模型中，自适应权重的多任务模型的训练方法以及每个任务相应权重的更新方法的具体步骤如下：

（1）自适应权重的多任务模型训练方法

在自适应任务权重调整模型中，每个任务的权重在训练的不同时刻都会发生变化，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势来决定；具体训练过程为：

记c为模型训练过程中的迭代次数，λ为权重向量，用来指示所有任务的权重，这个向量初始化为1，表示在初始的时候，所有的任务都共享相同的权重，val_loss_list是用于存储验证集误差值的数据结构，记k为任务权重更新的迭代次数参量；模型的学习过程分为3个步骤：

1）在网络训练中，当迭代次数c小于迭代次数上限值时，计算在验证数据集上的误差值val_loss，并使用val_loss_list存储这些误差值；

2）每k轮，对所有任务的相应权重λ值进行计算更新，这个更新的算法记为update_weights()；

3）计算出不同任务的权重λ以后，根据这些权重对回传的loss值进行加权处理，用计算得到的weighted_loss来更新网络中参数；

（2）权重的更新方法

根据权重自适应算法思路，权重的变化是根据每个任务在验证集上的误差大小以及变化趋势来决定，具体分为以下6个步骤：

1）根据val_loss_list中存储的数据，计算每个任务在前一阶段的平均误差pre_mean；

2）根据val_loss_list中存储的数据，计算每个任务在当前阶段的平均误差cur_mean；

3）根据当前的误差cur_mean和前一阶段的误差pre_mean，计算误差变化的趋势trend；

4）对误差的趋势进行归一化norm_trend；

5）对误差值的大小进行归一化norm_loss；

6）根据误差值的大小和误差的趋势来计算得到每个任务的权重λ。