[发明专利]分布式机器学习系统、装置和方法

摘要

提出了一种分布式在线机器学习系统。预期的系统包括许多私人数据服务器，每个私人数据服务器都具有本地私人数据。研究人员可以请求相关的私人数据服务器用其当地私人数据训练机器学习算法的实现，而无需对私人数据取消标识，或无需将私人数据暴露给未授权的计算系统。所述私人数据服务器还根据实际数据的数据分布生成合成数据或代理数据。然后，所述服务器使用所述代理数据来训练代理模型。当所述代理模型与训练后的实际模型足够相似时，所述代理数据、代理模型参数或其他学习到的知识可以被发送到一个或多个非私人计算设备。然后，可以将来自许多私人数据服务器的学习到的知识聚合到一个或多个训练后的全局模型中，而不暴露私人数据。

主权项

1.一种分布式机器学习系统，包括：多个私人数据服务器，每个私人数据服务器有权访问当地私人数据并具有至少一个建模引擎，其中所述多个私人数据服务器通过网络通信耦合至至少一个非私人计算设备；并且其中每个私人数据服务器在由存储在非暂时性计算机可读存储器的至少一个处理器软件指令执行时，致使所述每个私人数据服务器的至少一个建模引擎：接收模型指令，以根据机器学习算法的实现从至少一些当地私人数据中创建训练后的实际模型；通过用所述当地私人数据训练所述机器学习算法的实现，根据所述模型指令并根据所述至少一些当地私人数据创建所述训练后的实际模型，所述训练后的实际模型包括训练后的实际模型参数；从所述私人数据中生成多个私人数据分布，其中所述私人数据分布表示聚合的当地私人数据，所述聚合的当地私人数据用于创建所述训练后的实际模型；根据所述多个私人数据分布生成代理数据集；通过用所述代理数据集训练机器学习模型的类型，从所述代理数据集中创建训练后的代理模型，所述训练后的代理模型包括代理模型参数；根据所述代理模型参数和所述训练后的实际模型参数计算模型相似度得分；以及根据所述模型相似度得分将所述代理数据集通过所述网络发送至所述至少一个非私人计算设备。