[发明专利]用于在分布式系统中进行检测的系统和方法

说明书

技术领域

本发明涉及用于在分布式系统中进行检测的系统和方法，更具体地涉及在分布式系统中检测节点是否存活、数据流通状态、以及网络延迟的系统和方法。

背景技术

随着分布式系统的广泛使用，经常需要检测成千上万个客户端或客户端程序是否存活。

在现有技术中，通常使用Zookeeper集群来检测成千上万个客户端。然而，当使用Zookeeper集群来检测成千上万个客户端时压力是非常大的，而且需要动态检测Zookeeper集群中的临时节点，并且Zookeeper集群不能检测是因为网络不通还是客户端宕机造成的。而且，因为集群中涉及到大量的数据传输，还需要能够检测整个分布式集群中的网络堵塞情况。

因此，期望提供一种改进的用于在分布式系统中进行检测的系统和方法。

发明内容

为了解决现有技术中的上述缺点和问题中的至少一个而提出本发明。

根据一个方面，本发明提出了一种用于在分布式系统中进行检测的方法，包括：

数据流检测集群获取第一节点集群中的所有第一节点的信息列表；

所述数据流检测集群根据所获得的信息列表向所述第一节点集群发送带有时间戳的信息，基于所述信息是否发送成功来确定所述第一节点集群的存活状态；

在接收到所述数据流检测集群发送的信息之后，所述第一节点集群生成时间戳并将带有该时间戳的信息发送到第二节点集群；

在接收到所述第一节点集群发送的信息之后，所述第二节点集群生成时间戳并将带有该时间戳的信息发送到第三节点集群；

在接收到所述第二节点集群发送的信息之后，所述第三节点集群生成时间戳并将带有该时间戳的信息发送到所述数据流检测集群；以及

所述数据流检测集群根据信息中的时间戳来计算各节点之间的网络延迟，并将网络延迟写入日志。

可选地，所述第一节点集群是数据收集器集群，所述第二节点集群是数据转发器集群，以及所述第三节点集群是数据聚合器集群。

可选地，无论信息发送成功或失败，所述第一节点集群和所述第二节点集群都通知所述数据流检测集群。

可选地，所述第一节点集群和所述第二节点集群通过调用所述数据流检测集群提供的远程过程调用（RPC）服务来通知所述数据流检测集群。

可选地，所述数据流检测集群尝试向所述第一节点集群发送信息多次。

根据另一个方面，本发明提出了一种用于在分布式系统中进行检测的系统，包括：

统一服务模块，所述统一服务模块被配置为提供统一服务；

数据流检测集群，被配置为通过向第一节点集群发送带有时间戳的信息并且基于信息是否发送成功来确定第一节点集群的存活状态，以及根据各节点发送的信息中的时间戳来计算各节点之间的网络延迟；

第一节点集群，所述第一节点集群被配置为在接收到所述数据流检测集群发送的信息之后，生成时间戳并将带有该时间戳的信息发送到第二节点集群；

第二节点集群，所述第二节点集群被配置为在接收到所述第一节点集群发送的信息之后，生成时间戳并将带有该时间戳的信息发送到第三节点集群250；以及

第三节点集群，所述第三节点集群被配置为在接收到所述第二节点集群发送的信息之后，生成时间戳并将带有该时间戳的信息发送到数据流检测集群。

可选地，所述第一节点集群是数据收集器集群，所述第二节点集群是数据转发器集群，以及所述第三节点集群是数据聚合器集群。

可选地，所述第一节点集群和所述第二节点集群进一步被配置为：无论信息发送成功或失败，都通知所述数据流检测集群。

可选地，所述第一节点集群和所述第二节点集群通过调用所述数据流检测集群提供的远程过程调用（RPC）服务来通知所述数据流检测集群。

可选地，所述数据流检测集群尝试向所述第一节点集群发送信息多次。

附图说明

通过下面结合附图进行的描述，本发明一些示范性实施例的上述和其他方面、特征和优点对于本领域技术人员来说将变得显而易见，其中：

图1是图示用于在分布式系统中进行检测的方法的流程图；以及

图2是图示根据本发明的用于在分布式系统中进行检测的系统的框图。

具体实施方式