[发明专利]基于半监督的横向联邦学习优化方法、设备及存储介质在审
申请号: | 202010084917.X | 申请日: | 2020-02-10 |
公开(公告)号: | CN111291897A | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 魏锡光;李权;鞠策;高大山;曹祥;刘洋;陈天健 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 张婷 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 监督 横向 联邦 学习 优化 方法 设备 存储 介质 | ||
本发明公开了一种基于半监督的横向联邦学习优化方法、设备及存储介质,所述方法包括:接收服务端下发的本次无标签全局模型更新的全局模型参数;根据全局模型参数和训练样本对本地的待训练模型进行自监督训练,更新待训练模型中的编码器参数和解码器参数得到本地模型参数;将本地模型参数发送给服务端,以供服务端根据各客户端发送的本地模型参数对待训练模型进行有监督训练,得到新一次无标签全局模型更新的全局模型参数并下发给各客户端;循环直到满足预设条件时停止训练得到目标模型。本发明实现在客户端只有少量标签数据甚至完全没有标签数据时,也能够进行横向联邦学习,从而适应缺乏标签数据的现实场景,节省人力成本。
技术领域
本发明涉及机器学习技术领域,尤其涉及一种基于半监督的横向联邦学习优化方法、设备及存储介质。
背景技术
随着人工智能的发展,人们为解决数据孤岛的问题,提出了“联邦学习”的概念,使得联邦双方在不用给出己方数据的情况下,也可进行模型训练得到模型参数,并且可以避免数据隐私泄露的问题。横向联邦学习,也称为特征对齐的联邦学习(feature-alignedfederated learning),是在各个客户端的数据特征重叠较多(即数据特征是对齐的),而用户重叠较少的情况下,取出客户端数据特征相同而用户不完全相同的那部分数据进行联合机器学习。
目前的横向联邦学习通常假设客户端有大量的有标签数据,才能够保证使用横向联邦学习的训练模式进行模型训练,但是实际情况通常是客户端有少量甚至是没有标签数据,事实上也很难要求客户端对数据进行标注,因而很难使用现有的横向联邦学习训练模式获得优质的模型。
发明内容
本发明的主要目的在于提供一种基于半监督的横向联邦学习优化方法、设备及存储介质,旨在解决现有客户端中有少量标签数据甚至部分客户端没有标签数据的情况下,无法使用横向联邦学习来训练模型的问题。
为实现上述目的,本发明提供一种基于半监督的横向联邦学习优化方法,应用于参与横向联邦学习的客户端,客户端本地的训练样本包括无标签样本,客户端与参与横向联邦学习的服务端通信连接,所述方法包括:
接收服务端下发的本次无标签全局模型更新的全局模型参数;
根据所述全局模型参数和所述训练样本对本地的待训练模型进行自监督训练,更新所述待训练模型中的编码器参数和解码器参数得到本地模型参数;
将所述本地模型参数发送给服务端,以供服务端根据各客户端发送的所述本地模型参数对待训练模型进行有监督训练,得到新一次无标签全局模型更新的全局模型参数并下发给各客户端;
循环直到满足预设条件时停止训练得到目标模型。
可选地,所述根据所述全局模型参数和所述训练样本对本地的待训练模型进行自监督训练,更新所述待训练模型中的编码器参数和解码器参数得到本地模型参数的步骤包括:
采用所述全局模型参数更新本地的待训练模型后,将所述训练样本输入所述待训练模型,依次调用所述待训练模型中的编码器和解码器对所述训练样本进行处理,得到解码数据;
根据所述训练样本和所述解码数据计算自监督损失函数;
根据所述自监督损失函数更新所述待训练模型中的编码器参数和解码器参数,得到本地模型参数。
可选地,所述目标模型用于识别患者的心脏疾病类型,所述循环直到满足预设条件时停止训练得到目标模型的步骤之后,还包括:
将目标患者的心电图数据输入所述目标模型,依次调用所述目标模型中的编码器和预测器对所述心电图数据进行处理,得到所述目标患者的心脏疾病类型识别结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010084917.X/2.html,转载请声明来源钻瓜专利网。