[发明专利]一种分布鲁棒性对抗学习方法有效
申请号: | 202010891222.2 | 申请日: | 2020-08-30 |
公开(公告)号: | CN112085194B | 公开(公告)日: | 2022-12-13 |
发明(设计)人: | 崔鹏;刘家硕 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06F30/27;G06K9/62 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 廖元秋 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布 鲁棒性 对抗 学习方法 | ||
1.一种分布鲁棒性对抗学习方法,其特征在于,包括以下步骤:
1)获取多环境训练数据;
选取来自不同环境e∈ε的训练数据De={Xe,Ye}组成多环境训练数据,其中ε为环境的集合,Xe为来自环境e的所有训练样本的协变量组成的该环境的协变量数组,Ye为来自环境e的所有训练样本的目标变量组成的该环境的目标变量数组;将所有环境的协变量数组组成协变量集合,将所有环境的目标变量数组组成目标变量集合;
2)建立模型:该模型为从协变量X的空间到目标变量Y的映射;
3)将步骤1)得到的协变量集合中协变量的每一维权重构成的权重向量初始化为全1的向量,即每一维协变量的相对鲁棒性是相同的,并将该权重向量作为协变量当前权重向量w;
4)利用协变量当前权重向量w,构造Wasserstein距离度量下的当前对抗分布集合其中cw(z1,z2)=|w⊙(z1-z2)|2;
其中P0代表原始的训练数据分布,ρ为对抗分布集合的半径,代表分布Q与初始分布P0的分布间Wasserstein距离;zi=(xi,yi)代表训练样本i,其中xi为该样本的协变量,yi为该样本的目标变量,i=1,2…;
5)对于当前对抗分布集合使用分布鲁棒优化学习步骤2)建立的模型当前参数θ:
其中,为样本点(X,Y)上的误差;为对于模型当前参数θ,对于服从分布Q的数据上的误差的期望;
模型当前参数θ的初始值为随机初始化后的结果;
6)利用当前θ和当前w,利用步骤1)得到的多环境训练数据,计算其中代表了环境e下的平均误差,之后利用R(θ(w))来更新协变量当前权重向量w,然后重新返回步骤4);其中参数α为超参数,α>0;
7)重复步骤4)到步骤6),采用梯度下降训练模型,直到模型收敛,此时的模型当前参数θ即为最终的模型参数,模型训练完毕,此时的协变量当前权重向量w即为最终的协变量权重向量;
8)任意获取一个测试样本,将该测试样本中协变量赋予步骤7)得到最终的协变量权重向量,得到该测试样本修正后的协变量;然后将该修正后的协变量输入步骤7)训练完毕的模型,模型输出的即为该测试样本的目标变量预测结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010891222.2/1.html,转载请声明来源钻瓜专利网。