[发明专利]一种分布式机器学习系统及适用于其的通信调度方法

说明书

本发明涉及通信技术领域，且公开了一种分布式机器学习系统及适用于其的通信调度方法，包括所述参数模块、调度模块、分量模块、数据偏差模块、区节点模块、中枢模块、信息跟踪模块和通信模块；其中参数模块设置为用于交换网络数据信息的单元，中枢模块设置为用于对整个系统工作进行调整协调，包括数据的预设、系统初始化和系统结束，以及学习读取数据的接收。通过分量模块对单元数据信息进行分区处理命令计算，记录数据区集为Gather_A1～Gather_An，则与现有技术相比，通过向数据集分成若干子集，通过区分子集进行数据的传输与读取，有效提高数据的传输读取速度，同时减少机器学习训练量的增加对学习效率的影响。

技术领域

本发明涉及通信技术领域，具体为一种分布式机器学习系统及适用于其的通信调度方法。

背景技术

在人工智能和大数据时代，机器学习在许多领域取得了前所未有的成功，由此彻底改变了人工智能发展的方向。其中“富有挑战性的问题是由分布式机器学习解决的”，所以，要了解机器学习究竟能够带来什么样的前所未有的新机遇，就必须了解分布式机器学习系统。

典型的分布式机器学习系统为数据并行的参数服务器系统，但是现有的分布式机器学习系统在数据区集通信过程中，通常会一个节点之间的唯一网络连接会被多个工作节点同时占据，导致工作节点之间的通信受到影响，并且在计算区集信息时，进行重叠完整计算，随着训练数据量的增大，从而导致节点计算时间线性下降，影响机器的学习效率。

同时在节点数据处理过程中，在接收数据过程中，往往会存在偏差数据，现有分布式学习系统，在处理偏差数据过程中，往往是整体前置纠错，从而导致读取时间长，匹配定位效率低的问题。

发明内容

针对现有技术的不足，本发明提供了一种分布式机器学习系统及适用于其的通信调度方法，具备分区数据处理，减少一个节点单位时间段内处理信息过多，从而提高数据读取效率，且计算单元块之间数据读取时间，增加单元块之间通信调度，保证数据传输效率，进一步提高学习效果，同时在数据分区过程中，对数据进行偏差判断，从而提高判断速度，增加该分布式机器学习系统的学习效率的优点。

为实现上述目的，本发明提供如下技术方案：一种分布式机器学习系统，包括所述参数模块、调度模块、分量模块、数据偏差模块、区节点模块、中枢模块、信息跟踪模块和通信模块；其中参数模块设置为用于交换网络数据信息的单元，中枢模块设置为用于对整个系统工作进行调整协调，包括数据的预设、系统初始化和系统结束，以及学习读取数据的接收；

所述参数模块和区节点模块分别用于对节点数据进行协调描述的行为；

所述调度模块和分量模块，用于对传输数据进行计算，参数模块数据集区分为数据Gather，并对Gather进行分量计算，并分区为Gather_A1～Gather_An；

所述数据偏差模块和区节点模块设置为接收数据偏差计算，接收数据区分动作完成后，对控制命令提示符进行读取，生成编辑执行Result集合，区分Result集合为Result_A和Result_B，Result_A是该中枢模块为预设的描述数据类型，Result_B是其他数据类型，若是Result_A，则采用预设的区节点模块进行读取，若是Result_B，则采用参数模块重新设定的描述数据进行读取；

所述信息跟踪模块和通信模块，用于的传输信息的跟踪调度，对分量模块信息以及区节点模块信息读取时间进行计算，同时对其数据传输进行通信调度，分量模块信息和区节点模块信息读取时间分别为T和S，计算T和S的时间值，通过通信模块连接，进行信息的分别传输。

优选的，所述调度模块接收设置时间段内参数模块传输的数据包，并将此数据包集合设置为数据Gather，分量模块对单元数据信息进行分区处理命令计算；

数据Gather与分区数据设定K值进行对比计算，符合数据集为Gather_A，不符合数据集Gather_B；