[发明专利]一种分布鲁棒性对抗学习方法

说明书

本发明提出一种分布鲁棒性对抗学习方法，属于鲁棒学习方法和对抗学习技术领域。该方法首先多环境训练数据，分别建立训练数据的协变量集合和目标变量集合，通过多环境训练数据在模型优化的同时对协变量的相对鲁棒性进行推断，并据此在分布鲁棒学习框架下对不同协变量进行加权，来构造更加符合实际的对抗分布集合，最终得到训练完毕的模型参数以及协变量权重向量。应用时，通过协变量权重区分不同协变量的相对鲁棒性，输入模型后，得到更为准确的分类结果。本发明基于实际情境中不同协变量具有不同程度鲁棒性的观察，区别对待不同协变量来构造更加符合实际的对抗分布集合，进行更有效的分布鲁棒优化，在图像分类等多种领域有很高的应用价值。

技术领域

本发明属于鲁棒学习方法和对抗学习技术领域，特别提出一种分布鲁棒性对抗学习方法。

背景技术

传统的机器学习方法基于经验风险最小化，当训练数据存在潜在的异质性、混杂因子或分布偏移时，此类方法通常表现出较差的泛化性能，故在真实环境下的预测性能不稳定。分布鲁棒学习希望通过构造对抗分布集合并优化其中的最坏情况，来达到分布有偏情况下更好的泛化性能，但现有方法存在构造的对抗分布集合过大的问题，而其中部分分布在真实场景中不需要被纳入考虑，在实际应用中，特别是具有较强分布偏差的情况下，实际泛化效果不佳。

在真实的应用场景中，例如图像分类任务中，代表颜色、纹理、背景的协变量相较于代表目标物体的协变量在不同环境中变化会更加剧烈，表现为不同协变量鲁棒性的不同，当在实际场景下应用时，若应用于训练数据中少见的场景时，机器学习模型的分类表现会受到很大影响。图像分类中现有的分布鲁棒学习方法主要是对图像进行微小的扰动，使用扰动后的图像进行训练，来实现模型对于微小扰动下的鲁棒性。由于现有方法并不区分对待不同的协变量，也导致了只能对图像进行微小的扰动，并假设扰动之后图像标签没有发生变化，也导致只能保证微小扰动下的鲁棒性。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种分布鲁棒性对抗学习方法。本发明基于实际情境中不同协变量具有不同程度鲁棒性的观察，区别对待不同协变量来构造更加符合实际的对抗分布集合，进行更有效的分布鲁棒优化。

本发明提出一种分布鲁棒性对抗学习方法，其特征在于，包括以下步骤：

1)获取多环境训练数据；

选取来自不同环境e∈ε的训练数据D^e＝{X^e，Y^e}组成多环境训练数据，其中ε为环境的集合，X^e为来自环境e的所有训练样本的协变量组成的该环境的协变量数组，Y^e为来自环境e的所有训练样本的目标变量组成的该环境的目标变量数组；将所有环境的协变量数组组成协变量集合，将所有环境的目标变量数组组成目标变量集合；

2)建立模型：该模型为从协变量X的空间到目标变量Y的映射；

3)将步骤1)得到的协变量集合中协变量的每一维权重构成的权重向量初始化为全1的向量，即每一维协变量的相对鲁棒性是相同的，并将该权重向量作为协变量当前权重向量w；

4)利用协变量当前权重向量w，构造Wasserstein距离度量下的当前对抗分布集合其中c_w(z₁，z₂)＝|w⊙(z₁-z₂)|²；

其中P₀代表原始的训练数据分布，ρ为对抗分布集合的半径，代表分布Q与初始分布P₀的分布间Wasserstein距离；z_i＝(x_i，y_i)代表训练样本i，其中x_i为该样本的协变量，y_i为该样本的目标变量，i＝1，2…；

5)对于当前对抗分布集合使用分布鲁棒优化学习步骤2)建立的模型当前参数θ：