[发明专利]获取人工智能模型的方法、装置、设备及存储介质在审
申请号: | 202010246686.8 | 申请日: | 2020-03-31 |
公开(公告)号: | CN113469206A | 公开(公告)日: | 2021-10-01 |
发明(设计)人: | 司晓云;胡新宇;薛莉;张亮;尘福兴 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;H04L29/06;G06N3/063 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 颜晶 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 获取 人工智能 模型 方法 装置 设备 存储 介质 | ||
本申请公开了一种获取人工智能模型的方法、装置、设备及存储介质,以客户端执行该方法为例,客户端接收服务端发送的第一人工智能AI模型,第一AI模型包括多个神经元;客户端在多个神经元中确定参与本轮训练的目标神经元,本轮训练为非首轮训练,目标神经元的数量小于多个神经元的总数量;客户端基于本地数据对目标神经元进行训练;客户端向服务端返回目标神经元对应的参数数据,目标神经元对应的参数数据用于服务端获取收敛的目标AI模型。由于无需对模型中的所有神经元进行训练,而是按照活跃条件来训练目标神经元,从而能够降低功耗,加快训练速度。又由于客户端向服务端仅传输训练的神经元对应的参数,因而可节省通信带宽。
技术领域
本申请涉及人工智能技术领域,尤其涉及获取人工智能模型的方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展,各种人工智能(artificial intelligence,AI)模型越来越多,获取人工智能模型的方式也越来越多。通过联合学习(federated learning,FL)的方式获取人工智能模型便是其中的一种。
联合学习是一种新兴的人工智能基础技术,原本用于解决安卓手机终端用户在本地更新模型的问题,目标是保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。目前,联合学习被拓展为在数据不共享的情况下共同构建AI模型,提升AI模型效果。
发明内容
本申请实施例提供了一种获取人工智能模型的方法、装置、设备及存储介质,以解决相关技术提供的问题,技术方案如下:
第一方面,提供了一种获取人工智能模型的方法,以客户端侧执行该方法为例,该方法包括:客户端接收服务端发送的第一人工智能AI模型,第一AI模型包括多个神经元;客户端在多个神经元中确定参与本轮训练的目标神经元,本轮训练为非首轮训练,目标神经元的数量小于多个神经元的总数量;客户端基于本地数据对目标神经元进行训练;客户端向服务端返回目标神经元对应的参数数据,目标神经元对应的参数数据用于服务端获取收敛的目标AI模型。
由于本申请实施例提供的方法并不需要对模型中的所有神经元均进行训练,而是按照活跃条件来选择部分神经元进行训练,从而能够降低功耗,加快训练速度。此外,又由于客户端向服务端仅传输训练的神经元对应的参数,因而能够节省通信带宽。
在示例性实施例中,目标神经元为活跃度满足条件的神经元。示例性地,目标神经元的活跃度大于活跃度阈值。
在示例性实施例中,多个神经元中的各个神经元具有对应的冷活标志位,冷活标志位的值为第一值时,用于指示神经元参与本轮训练;所述在所述多个神经元中确定参与本轮训练的目标神经元,包括:将冷活标志位为第一值的神经元确定为参与本轮训练的目标神经元。
通过冷活标志位来指示活跃条件,从而通过该冷活标志位即可直接确定目标神经元,使得确定目标神经元的速度较快,进一步节省了训练时间,加快了训练速度。
在示例性实施例中,多个神经元中的各个神经元具有对应的冷冻期,所述冷冻期用于指示神经元不参与训练的周期;
任一神经元对应的冷活标志位的值,基于所述任一神经元对应的冷冻期确定。
在示例性实施例中,所述将冷活标志位为第一值的神经元确定为参与本轮训练的目标神经元之前,还包括:对于所述多个神经元中的任一神经元,获取所述任一神经元在上轮训练的活跃度,所述活跃度用于指示神经元被本地数据影响的程度;
根据所述任一神经元在上轮训练的活跃度更新所述任一神经元的冷冻期,根据所述任一神经元的冷冻期更新所述任一神经元的冷活标志位的值。
在示例性实施例中,所述多个神经元中的各个神经元还具有对应的冷冻期计数器,所述冷冻期计数器用于指示所述冷冻期是否结束;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010246686.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:主机连网系统及主机连网方法
- 下一篇:双电机组件及车辆