[发明专利]一种纵向联邦学习场景中高效的特征贡献评估方法在审
申请号: | 202011465467.5 | 申请日: | 2020-12-14 |
公开(公告)号: | CN112651170A | 公开(公告)日: | 2021-04-13 |
发明(设计)人: | 张兰;李向阳;刘梦境 | 申请(专利权)人: | 德清阿尔法创新研究院 |
主分类号: | G06F30/27 | 分类号: | G06F30/27;G06F111/08 |
代理公司: | 杭州九洲专利事务所有限公司 33101 | 代理人: | 陈琦;陈继亮 |
地址: | 313200 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 纵向 联邦 学习 场景 高效 特征 贡献 评估 方法 | ||
1.一种纵向联邦学习场景中高效的特征贡献评估方法,其特征在于所述该方法包括三个模块:1)运算拆分;2)MC采样近似;3)通信聚合。
2.根据权利要求1所述的所述纵向联邦学习场景中高效的特征贡献评估方法,其特征在于所述运算拆分为根据SV,将特征i的贡献用边际增益期望的表示:E(i)=Ex[f(x∪i)-f(i)]。基于SV的评估满足公平性的需求。为了降低在线采样计算的通信开销,将f的运算拆分成只与参与方A(xA)有关和只与参与方B(xB)有关的两部分。该模块分为两步:
一、交换运算顺序。首先根据期望运算的性质,和的期望等于期望的和:E(i)=Ex[f(x∪i)-f(x)]=Ex[f(x∪i)]-Ex[f(x)].然后,对f进行线性近似,得到交换运算顺序:
二、线性近似由于逻辑回归模型f中包含非线性函数:sigmoid函数。对sigmoid函数在评估点x附近求导,作为泰勒近似的系数。当x=0时,其中z=θAxA+θBxB.然后将A、B的特征xA,xB带入展开式,得到模型近似结果和A,B双方特征的关系:将模型中的非线性运算用泰勒三阶展开近似。在计算的期望时,对于展开项中只与单个参与方特征有关的项(例如),直接由该参与方独立计算该项的期望。对于与双方特征都有关的项(例如),在假设双方特征独立的情况下,交换期望运算和项运算的顺序:拆分成两个只与单个参与方特征相关的项,并由相应的参与方独立计算其期望。
3.根据权利要求1所述的所述纵向联邦学习场景中高效的特征贡献评估方法,其特征在于所述所述2)MC采样近似为每个参与方独立计算只与本地特征相关的项的期望(例如)。期望的计算采样MC近似:随机采样xA计算θAxA的采样值,多次迭代计算均值,作为期望的近似值。针对参与方A,评估特征i时,在每一轮迭代中,对xA所有特征进行随机排序。排在特征i之前的特征用真实值,之后的特征用数据集中的随机采样点的取值替代,构造特征x′A,计算相应的θAx′A。不断循环迭代过程,直到该项的均值收敛。
4.根据权利要求1所述的所述纵向联邦学习场景中高效的特征贡献评估方法,其特征在于所述3)通信聚合为双方通过采样近似得到本地项的期望后,通过一次通信,得到最终的边际收益期望值,作为特征的贡献评估结果。
同样的方法计算E[x],进而得到E[i]=E[x∪i]-E[x]。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于德清阿尔法创新研究院,未经德清阿尔法创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011465467.5/1.html,转载请声明来源钻瓜专利网。