[发明专利]基于联邦学习的人工智能模型训练方法、装置及系统

说明书

本发明属于电力自动化领域，公开了一种基于联邦学习的人工智能模型训练方法、装置及系统，包括：获取初始人工智能模型并发送至各计算节点；接收中心节点发送的初始人工智能模型，作为本地人工智能模型；迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；迭代进行梯度计算步骤至预设梯度计算迭代阈值，并接收中心节点发送的训练完成人工智能模型，或者，迭代进行梯度计算步骤至接收到中心节点发送的训练完成人工智能模型，采用训练完成人工智能模型更新本地人工智能模型。通过异步模型参数更新方法提升高性能计算节点的算力利用率，提升模型训练速度。

技术领域

本发明属于电力自动化领域，涉及一种基于联邦学习的人工智能模型训练方法、装置及系统。

背景技术

营销业务作为电力公司的核心业务之一，其运营质量与电力公司的生存发展息息相关，并且随着营销业务范围的不断开拓和延伸，营销数据快速增长，其中蕴含大量数据价值，通过深挖营销大数据作用价值，深化营销大数据应用。具体来讲，充分利用全渠道客户行为特征，动态跟踪客户用电规律，构建用电客户画像，加快构建电力信用风控体系，深度推广电力信用评分，研发客户信心指数等核心产品，建立国网客户信用体系，丰富电费回收预警监控体系，拓展用电波动监控、违约用电监控及行业风险监控等服务。

目前，通常利用机器学习以及深度学习等人工智能技术来挖掘营销数据内在信息价值，创新营销管理模式，提高管理效能。在这个过程中，机器学习与深度学习技术需要使用大量数据进行模型训练，使得电力公司内部各单位间横向协同和部门间纵向贯穿的数据共享需求变得日益迫切。但是，由于营销数据的敏感性以及隐私保护需要，电力公司内各单位之间共享营销数据存在较大困难，从而易造成各单位之间的“数据孤岛”问题，导致模型训练不利，使得难以全面、充分挖掘营销数据内在价值，造成数据价值浪费。

当前，解决“数据孤岛”问题的常用方法包括数据脱敏共享机制以及群体特征共享模式等。但是，数据脱敏共享机制存在用户难匹配、易推导回溯等安全隐患，甚至因此带来法律风险，不满足电力数据对外共享的要求。而群体特征共享模式，虽隐私保护性稍好，但特征种类受限且无法匹配其他数据使用，共享的覆盖度与有效性较差，数据共享应用效果不佳。因此，如何确保各单位在多方数据共享时的数据与用户隐私安全，并在此基础上实现数据协同训练，提升数据模型有效性和准确性，达到数据安全共享的效果，是亟待解决的问题。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于联邦学习的人工智能模型训练方法、装置及系统。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种基于联邦学习的人工智能模型训练方法，应用于基于联邦学习的人工智能模型训练系统的中心节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练方法包括：

获取初始人工智能模型并发送至各计算节点；

迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；

其中，所述更新步骤包括：

接收前预设数量个计算节点发送的梯度数据，进入全局参数更新过程；其中，梯度数据为计算节点根据本地训练数据，通过梯度计算得到的本地人工智能模型的各神经网络层的梯度；

全局参数更新过程：根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数，并将更新的全局参数发送至前预设数量个计算节点；其中，更新的全局参数用于更新计算节点的本地人工智能模型的模型参数。

可选的，所述更新步骤还包括：