[发明专利]结合大数据分析反馈的联邦机器组合服务方法与系统

权利要求书

1.一种结合大数据分析反馈的联邦机器组合服务系统，包括分布在不同地址的多个设备(1)、大数据分析和调度模块(2)；每个设备(1)包括数据预处理模块(3)、数据获取模块(6)和数据读取模块(11)；

数据训练融合子模块(4)，所述数据训练融合子模块(4)设置于部分所述设备上；联邦数据训练模块(5)，所述联邦数据训练模块(5)设置于其中一个所述设备(1)上；所有设备(1)都包括单机存储模块(7)，设置有所述数据训练融合子模块(4)的设备上设置局域数据存储模块(8)，设置有所述联邦数据训练模块(5)的所述设备(1)设置有全局数据存储模块(9)；

所述大数据分析和调度模块(2)对所有参与联邦机器学习的设备、工作模块和数据进度数据分析和调度；所述大数据分析和调度模块(2)数据通信连接所述数据读取模块(11)、所述数据训练融合子模块(4)和所述联邦数据训练模块(5)；所述数据获取模块(6)和所述单机存储模块(7)数据通信连接，所述单机存储模块(7)还分别和所述数据预处理模块(3)和数据读取模块(11)数据通信连接；

其特征在于：

所述设备(1)在运行时，所述数据获取模块(6)获取安装在该设备(1)上的运行数据和状态数据，形成数据记录，并将所述数据记录存储于所述设备(1)的所述单机存储模块(7)，所述数据预处理模块(3)读取存储于所述单机存储模块(7)中的所述数据记录，并利用数理统计方法和设定的要求去分析每条所述数据记录，在发现某条数据记录出现明显不合理时，将该条数据记录删除；

所述大数据分析和调度模块(2)利用所述设备以往的运行特点和产生的数据记录量特点，制定所述设备的分组规则，从而所述大数据分析和调度模块(2)对所有的设备(1)进行分组，将所有的所述设备(1)按照一定的规则分成数个分组(10)，并保证每个所述分组(10)中存在至少一个所述数据训练融合子模块(4)，并将所述分组的信息发送给所述数据读取模块(11)、所述数据训练融合子模块(4)和所述联邦数据训练模块(5)，并且修改所述数据读取模块(11)、所述数据训练融合子模块(4)和所述联邦数据训练模块(5)的所述数据记录的读取权限；

所述数据训练融合子模块(4)依据所述大数据分析和调度模块(2)分配的读取权限，和其对应的分组的所述数据读取模块(11)建立数据通信连接，从而所述数据训练融合子模块(4)通过所述数据读取模块(11)读取存储于所述单机存储模块(7)中存储的数据记录进行数据学习训练，得出数据联邦子模型，并将该数据联邦子模型和随机从获得该数据联邦子模型中应用的数据记录中抽取一定量的数据记录发送给所述局域数据存储模块(8)；

所述联邦数据训练模块(5)读取存储于所述局域数据存储模块(8)中的所述数据联邦子模型和所述数据记录，对所有所述联邦子模型采取参数加权的模式得出总的数据联邦模型，并利用读取的抽取的数据记录进行数据训练，得出相应的参数，从而得出总的数据联邦模型，并发送给所述全局数据存储模块(9)进行存储；

所述大数据分析和调度模块(2)从所有设备(1)上的所述单机存储模块(7)任意抽取一定数量的数据记录，用于对所述总的数据联邦模型进行校验，在所述数据记录利用该总的数据联邦模型进行校验中，数据输出和数据记录中的数据符合模型精度要求时，则该总的数据联邦模型建立完成，否则，在所述局域数据存储模块(8)中储存的随机抽取的数据记录重新随机抽取，并再次利用所述联邦数据训练模块(5)进行建立总的数据联邦模型的过程；

其中，将所有的所述设备(1)按照一定的规则分成数个分组(10)的方式为：

在利用所述大数据分析和调度模块(2)对所有的设备(1)进行分组时，预先利用大数据的预估方法预估获取各所述设备(1)的数据记录量的大小，并且分组时，将数据记录量大的在同一分组，而数据记录量小的为一个分组，以便防止数据记录量大的数据记录在进行数据训练时淹没了数量记录量小的数据；在利用所述大数据分析和调度模块(2)对所有的设备(1)进行分组时，预先利用大数据的预估方法预估获取各所述设备(1)的数据记录量的大小，并且分组时，对数据记录量大的分组的所述设备(1)的数量少，而数据记录量小的分组，所述设备(1)的数量多。