[发明专利]一种Gaia系统中基于分布式环境下的消息传输方法

摘要

一种Gaia系统中基于分布式环境下的消息传输方法,属于大数据环境下的数据挖掘、机器学习和应用统计等分布式并行计算领域。技术方案：在分布式环境的所有节点中，经由选举机制得到的选举标记通过消息传输机制传输到同一个节点A，该节点收集选举标记；各个节点与该选举标记进行比较，判断是否进行消息传输；在计算的中间结果之中不断地发生选举，根据结果更新“选举标记”；通过算子完成消息传输之后，汇聚计算结果。有益效果是:本发明提供了在分布式环境下的一种消息传输策略，用于提高并行计算速度的计算方案，能够使得具有相同算子的节点在计算的过程中避免额外的开销完成并行计算，节省了大量的计算资源，有效地提高了计算的效率。

主权项

1.一种Gaia系统中基于分布式环境下的消息传输方法，其特征在于，步骤如下：/nS1、用户提交作业后，计算引擎根据用户定义的数据位置将数据读取到分布式环境之中，并且将数据传递到各个节点之上；/nS2、多节点的函数申请自身的计算资源，并且将数据读取到相应的算子之中；/nS2.1、Gaia判断定义的资源是否为第一次初始化，如果是则进入步骤S2.2，如果不是则直接进入步骤S2.3；/nS2.2、初始化资源之后，系统建立用于同一节点之间相互传输消息的机制；/nS2.3、各个节点进行计算之时得到中间结果，并在中间结果之中进行选举，并将所获得的选举结果作为选举标记传输到一个节点之上；/nS2.4、在步骤S2.2和步骤S2.3中接收选举标记的这一节点开辟一块缓存，用于存储这一选举标记；/nS2.5、在分布式环境的所有节点中，经由选举机制得到的选举标记通过消息传输机制传输到同一个节点A，该节点收集选举标记；/nS2.6、各个节点“获取”节点A中的选举标记，并且与该选举标记进行比较；/nS2.7、各个节点获得数据之后与选举标记比较，通过用户自定义规则判断该数据是否可能成为最终数据，如果能够成为最终数据则进行消息传输，如果过不能则不进行消息传输；/nS2.8、随着计算的不断进行，在计算的中间结果之中不断地发生选举，根据结果更新“选举标记”；/nS2.9、通过算子完成消息传输之后，汇聚计算结果。/n