[发明专利]数据处理方法、系统、设备及存储介质

说明书

本发明涉及通信技术领域，公开了一种数据处理方法、系统及存储介质。本发明中，数据处理方法应用于所述模型训练系统中的数据处理设备和N个数据控制设备，数据处理设备分别与N个数据控制设备通信连接。应用于数据处理设备的方法包括：接收N个数据控制设备上传的N个中间模型；其中，N个中间模型由N个数据处理设备训练得到；根据所述N个中间模型生成综合模型。应用于数据控制设备的方法包括：利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。通过上述技术手段，避免数据处理设备直接接触所有数据控制设备的数据，保证模型训练精度的同时，提高模型训练数据的隐私性。

技术领域

本发明涉及通信技术领域，特别涉及一种数据处理方法、系统、设备及存储介质。

背景技术

随着通信技术的发展，数据的收集变得越来越容易，网络用户能够分析处理的数据越来越多。在数据处理设备模型训练质量的角度而言，用于模型训练的数据量越大，则模型的精度和泛化指标越良好。目前，数据处理设备会根据需要，通过网络从不同的数据控制设备获取原始采集数据以训练模型，其中，不同的数据控制设备可以遍布在不同地区且用于采集并存储其所在区域的数据。比如，不同地区的电力物联网系统可以理解为不同的数据控制设备，而电力物联网系统用于实际执行电力调度方案的电子设备可以理解为数据处理设备；又比如，不同地区的医疗系统可以理解为不同的数据控制设备，医疗系统的调度部门可以理解为数据处理设备。

由于数据处理设备能够接触到由数据控制设备上传的大量的原始采集数据，可能导致一系列问题，譬如个人隐私信息或者地区的机密信息被泄露等。

发明内容

本发明实施例的目的在于提供一种数据处理方法、系统及存储介质。

为解决上述技术问题，本发明的实施例提供了一种数据处理方法，应用于数据处理设备，数据处理设备分别与N个数据控制设备通信连接；方法包括：接收N个数据控制设备上传的N个中间模型；其中，N个中间模型由N个数据处理设备利用本地的训练数据对待训练基础模型进行训练得到；根据N个中间模型生成综合模型。

本发明的实施例还提供了一种数据处理方法，应用于数据控制设备，数据控制设备与数据处理设备通信连接；方法包括：利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。

本发明的实施例还提供了一种模型训练系统，包括：设置在数据处理设备中的中心模块以及分别设置在N个数据控制设备的N个代理模块；其中，中心模块与N个代理模块分别通信连接；中心模块，用于接收N个数据控制设备上传的N个中间模型；其中，N个中间模型由N个数据处理设备利用本地的训练数据对待训练基础模型进行训练得到；根据N个中间模型生成综合模型；代理模块，用于利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。

本发明的实施例还提供了一种设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的数据处理方法。

本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法。

本发明实施例相对于现有技术而言，首先由N个数据控制设备分别利用存储的训练数据对待训练基础模型进行训练得到中间模型，然后N个数据控制设备分别将训练得到的中间模型上传至数据处理设备，数据处理设备将接收到的N个中间模型进行融合得到综合模型。在模型的整体训练过程中，数据处理者并不直接接触任何训练数据，避免了隐私数据的泄露风险。同时，模型仍能够利用所有数据控制设备的数据来进行训练，不影响训练所得综合模型的精度和泛化指标。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。