[发明专利]一种高精度混合动态优先级多目标优化方法

说明书

本发明提供一种高精度混合动态优先级多目标优化方法，具体过程为：建立目标优化函数，基于所述目标优化函数计算优化变量相对于各优化目标的梯度值；计算本轮迭代的各优化目标的损失函数值，基于所述损失函数值和所述梯度值计算反映目标损失函数变化率的整体速率因子、反映目标参数更新的梯度因子和反映目标优化程度的整体比例因子；利用焦点损失函数计算每一因子的函数值，基于三个因子的函数值，计算各优化目标的总梯度值；基于所述总梯度值更新所述优化变量。由于该算法采用三种因子加权的混合优先级策略，可以避免现有基于单一优先级法则的多目标算法带来的目标间差距加大的问题。

技术领域

本发明涉及一种高精度混合优先级多目标优化方法，属于多目标优化技术领域。

背景技术

对于单目标优化的情况下，任何两解都可以依据单一目标比较其好坏，可以得出没有争议的最优解，多目标优化与传统的单目标优化相对。多目标优化的概念是在某个情景中在需要达到多个目标时，由于容易存在目标间的内在冲突，一个目标的优化是以其他目标劣化为代价，因此很难出现唯一最优解，取而代之的是在它们中间做出协调和折衷处理，使总体的目标尽可能的达到最优。

随着深度学习及多任务学习领域的快速发展，基于梯度的多目标算法得到了进一步的关注，其主要特点在于依据不同的优先级分配法则分配目标的优先级，优先级分配的法则主要包括三类：第一类匀化收敛速率、第二类改进困难目标、第三类搜索帕累托改进。

在匀化收敛速率法则方面，相关文献(Gradient Normalization for AdaptiveLoss Balancing in Deep Multitask Networks,ICML，2018)提出了一种GradNorm，将多目标权值分配问题转化为一个基于学习的目标优化问题，目的在于平衡各任务梯度大小。相关文献(End-to-End Multi-Task Learning with Attention,CVPR，2018)提出了一种动态平权方法(Dynamic Weight Average,简称DWA)的轻量级多目标算法，该方法不需要通过建立优化目标，通过迭代过程中的Loss变化速率，分配优化权重，匀化各任务的更新速度。

在改进困难目标法则方面，相关文献(Dynamic Task Prioritization forMultitask Learning,ECCV,2018)提出了一种动态任务优先化(Dynamic TaskPrioritization,简称DTP)多目标方法，该方法设计特定的函数强化对“困难”任务的学习，并对其赋予更高的优化权重。相关文献(Multi-objective lithographic source maskoptimization to reduce the uneven impact of polarization aberration at fullexposure field,OE,2019)提出了自适应权重多目标梯度下降算法，该方法利用上一轮各目标损失函数的比重分配权重因子。

在搜索帕累托改进法则方面，相关文献(Multi-Task Learning as Multi-Objective Optimization,NeurlIPS,2018)多梯度下降算法，该方法通过搜索多目标问题的帕累托改进方向，从而使多目标优化问题接近非支配解。

然而，上述每种算法均是依据“单一”优先级分配法则，忽视了优先级法则之间本身存在的对立关系。实际上，“匀化收敛速率”与“改进困难目标法则”优先级法则之间存在着对立关系。当优化问题过渡关注“匀化收敛速率”法则，则会导致各目标的数量级达到统一，困难目标由于得不到较大的数量级，从而使得优化过程中得不到很好的改进；反之，当优化问题过渡关注“改进困难目标”法则，困难任务的梯度数量级将不断的被强化，导致目标间的数量级差距拉大，影响优化精度。

发明内容

有鉴于此，本发明提供一种高精度混合动态优先级多目标方法，该方法可以避免单一优先级法则带来的目标间差距加大的问题。

实现本发明的技术解决方案如下：