[发明专利]一种大规模分布式集群节点信息快速获取方法

说明书

本发明一种大规模分布式集群节点信息快速获取方法，包括：对集群中所有节点时间同步更新；采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。本发明大大节省了大规模分布式集群节点信息的获取时间，使得分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。

技术领域

本发明属于遥感卫星通信技术领域，涉及一种大规模分布式集群节点信息快速获取方法。

背景技术

随着信息技术的发展和网络规模的扩大，遥感卫星数据处理由单节点处理转变为分布式集群处理。在遥感卫星地面站数据处理过程中，因获取集群节点信息慢，导致任务调度系统作业过程中使某些要求实时性高的模块丢失数据，从而直接影响了整个调度系统的功能与性能。目前节点资源信息获取主要有两种方式，主节点主动轮询与和心跳检测。

1、主节点主动轮询方式

此方式通过集群中主节点周期性主动轮询方式采集子节点资源信息。该方式最大的缺点就是需要定时不断的轮询集群各个子节点，系统开销较大；若间隔时间太长的话，集群节点敏感度较低，获取的节点状态信息很可能是过时的信息；如果间隔时间过短则需要反复创建大量socket连接，在集群节点数量较大时，需要对每个节点创建对应的socket连接，不断的创建、删除socket连接对整个系统冲击较大、占用主节点系统资源。

2、心跳检测

心跳检测与轮询的结果一样但实现方式有差别，心跳需要主节点发布通信接口，以webservice或者socket的方式实现主节点与子节点的连接，虽然这种方式相比于轮询方式减轻了主节点的压力，但是webservice与socket需要通信握手，如果其中一方因为某种原因宕机，数据就会在tcp层面超时，需要尝试重连，当多次无果后才会断开连接，这个过程需要耗费一定的时间，如果宕机节点多这种方式也会存在效率低下，获取节点信息时间相对较长。

发明内容

发明所要解决的课题是，解决遥感地面站卫星数据处理过程中调度整体效率低下，且某些要求实时性高的模块丢失数据问题。

用于解决课题的技术手段是，本发明提出一种大规模分布式集群节点信息快速获取方法，包括如下步骤：

步骤1、对集群中所有节点时间同步更新；

步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；

步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；

步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。

进一步地，作为本发明的一种优选技术方案：所述步骤2中按照资源信息模板自动采集节点资源信息。

进一步地，作为本发明的一种优选技术方案：所述步骤3中主节点将采集到的节点信息存入数据库，并且将下一次接收的节点资源信息覆盖前一次存入的节点资源信息。

进一步地，作为本发明的一种优选技术方案：所述步骤3中分析节点与主节点的连通状态，包括：

进一步地，作为本发明的一种优选技术方案：根据预先设定的节点连通状态阈值判断，如果最近一次数据发送时间小于阈值，则将节点连通状态判断为可用，否则将节点连通状态判断为不可用。

进一步地，作为本发明的一种优选技术方案：所述步骤3中分析节点资源信息包括分析节点CPU、内存及使用率。