[发明专利]多任务神经网络的训练方法、装置、电子设备及存储介质

权利要求书

1.一种多任务神经网络的训练方法，其特征在于，包括：

获取训练样本，并通过多任务神经网络对所述训练样本进行处理，得到每个任务的预测结果；其中，所述多任务包括：目标任务和辅助任务；其中，所述多任务神经网络中的每个任务的处理对象为输入至所述多任务神经网络中的待处理的图像数据，所述目标任务包括人脸检测和人脸识别中的一个，所述辅助任务包括人脸检测和人脸识别中的另一个；

根据所述每个任务的预测结果确定所述每个任务的损失函数，并基于所述损失函数的梯度和预设的待优化变量构建多目标梯度优化模型；

对所述多目标梯度优化模型进行求解，得到所述待优化变量的优化结果；所述优化结果包括：每个任务的权重值和目标任务的梯度下降方向的方向修正参数的参数值；所述方向修正参数用于表征所述目标任务的训练优先程度；每个所述任务的权重值可以用于指示目标任务和/或辅助任务的训练优先级，所述训练优先级用于指示所述目标任务和辅助任务的损失函数的收敛速度；

基于每个任务的权重值和目标任务的梯度下降方向的方向修正参数的参数值，确定所述多任务神经网络的共享参数；

采用经过多轮共享参数确定的所述多任务神经网络对待处理图像进行同步的人脸检测和人脸识别，得到所述待处理图像的人脸检测结果和人脸识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述多目标梯度优化模型进行求解，得到所述待优化变量的优化结果，包括：

基于目标约束条件，对目标函数进行多目标求解，得到帕雷托解；

根据所述帕雷托解确定每个任务的权重值和目标任务的梯度的下降方向的方向修正参数的参数值。

3.根据权利要求1或2所述的方法，其特征在于，所述多目标梯度优化模型包括：目标函数和目标约束条件；

所述目标函数包括：第一函数和第二函数，其中，所述第一函数用于表征每个任务的梯度和权重值的加权和，所述第二函数用于表征目标任务相对于辅助任务的梯度下降方向的修正方向；

所述目标约束条件中包括以下约束参数：每个任务的权重参数和目标任务的梯度下降方向的方向修正参数。

4.根据权利要求3所述的方法，其特征在于，所述目标约束条件包括：

所述辅助任务的权重参数α_j满足：0≤α_j≤C1；所述方向修正参数β_ij满足：0≤β_ij≤C2，且

其中，α_j表示第j个辅助任务的权重参数，β_ij表示第i个目标任务相对于第j个辅助任务的梯度的下降方向的方向修正参数，L_p表示辅助任务的任务索引集合，C1表示预设特权参数，C2表示目标任务的训练优先级参数，其中，C∈(0，1)，所述预设特权参数用于表征所述目标任务和所述辅助任务的训练优先级。

5.根据权利要求3所述的方法，其特征在于，所述对所述多目标梯度优化模型进行求解，得到所述待优化变量的优化结果，包括：

基于所述目标约束条件中所述待优化变量的约束表达方式，将所述目标函数分解为多个子函数；

通过坐标下降算法对每个子函数中的所述待优化变量进行求解，得到每个任务的权重值和目标任务的梯度下降方向的方向修正参数的参数值。

6.根据权利要求5所述的方法，其特征在于，所述多个子函数包括：第一子函数和第二子函数，其中，所述第一子函数为基于每个所述任务的权重参数和目标半正定矩阵确定的函数，所述第二子函数为基于所述方向修正参数和所述目标半正定矩阵确定的函数，所述目标半正定矩阵为根据目标函数确定出的半正定矩阵。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述基于每个任务的权重值和目标任务的梯度下降方向的方向修正参数的参数值，确定所述多任务神经网络的共享参数，包括：

基于每个任务的权重值和目标任务的梯度下降方向的方向修正参数的参数，确定所述目标任务的修正梯度下降方向；

基于所述多任务的初始共享参数和所述修正梯度下降方向更新所述多任务神经网络的共享参数。