[发明专利]支持目标集群动态探测的高性能网络日志消息分发方法

说明书

本发明提供了支持目标集群动态探测的高性能网络日志消息分发方法，通过采取分布式探测、状态统一发布的保活动态探测策略，能够确保各分发节点上接收主机状态的一致性，同时，通过在日志消息分发过程采用加权负载均衡，避免了大量内存访问。通过采用分布式动态探测、状态统一分布等方法，确保接收主机的活跃性；采用加权负载均衡算法，将网络日志消息更加均衡地分布到集群环境下的接收主机上；同时，采用哈希函数计算会话数据包中所包含的五元组(源地址、目的地址、源端口、目的端口、协议)的哈希值，逐包确定接收主机端口的方法，有效的降低了接收主机失效带来的影响。

技术领域

本发明属于网络管理领域，具体涉及支持目标集群动态探测的高性能网络日志消息分发方法。

背景技术

会话(Session)本义是指有始有终的一系列动作/消息，当会话与网络协议相关联时，又包含了“面向连接”和“保持状态”两种含义。网络设备或软件，会根据实际业务的需要生成会话日志。随着网络技术的飞速发展，实时高性能地处理网络流量，并将生成的同一个会话的日志消息向同一个特定集群进行汇聚分发已成为当前研究的重要内容，特别是在众多的应用研究领域。例如：网络监控、电子商务等重要领域。在处理网络会话日志过程中，并以会话连接为单位对消息进行分发时，接收主机的保活探测是消息分发正确性的基础。消息的分发汇聚需要获取所有正常状态的节点，并将负载在各个状态正常的业务处理节点之间进行合理分配和调度，使各个节点尽量均衡地承担网络日志处理的任务。消息分发节点根据处理业务的类型对接收主机进行分组，也就是根据业务类型进行分组形成接收集群。所以，需要分发节点通过动态保活机制监测各个接收主机是否处于正常工作状态，将异常节点从活跃接收主机对象列表中删除，避免给故障节点分配负载任务，并将故障节点的负载任务分发给其他正常节点承担。现有技术主要采用由消息分发节点各自独立完成对接收主机状态探测的方案，然而，对于处理跨地域消息分发时，同一分发节点或者不同地区的多个分发节点，向同一接收主机集群发送消息的情况，如果各分发节点对集群内某个接收主机的状态判定不一致，则会直接导致不同分发节点将相同连接的消息分发到不同的接收主机上，从而导致日志消息分发失败；同时，由于在日志消息转发过程中，需要多次访问不同的内存空间获取接收主机的地址及端口信息，消耗了大量内存资源。

发明内容

有鉴于此，本发明提供了支持目标集群动态探测的高性能网络日志消息分发方法，通过采取分布式探测、状态统一发布的保活动态探测策略，能够确保各分发节点上接收主机状态的一致性，同时，通过在日志消息分发过程采用加权负载均衡，避免了大量内存访问。

本发明提供的支持目标集群动态探测的高性能网络日志消息分发方法，具体包括如下步骤；

步骤1、探测节点对业务集群内的接收主机进行探测，获得接收主机的状态信息，并将该状态信息与保存在本地的接收主机历史状态数据进行比较，判断此时接收主机的状态，接收主机的状态包括：活跃状态、失效状态及恢复状态，其中，恢复状态为当接收主机的历史数据为失效状态而当前状态为活跃状态时接收主机所处的状态；如果接收主机的当前状态与其历史状态数据保持一致，则立即将接收主机的当前状态信息发送给分发管理中心；如果接收主机的当前状态为失效状态，则立即将接收主机的当前状态信息即失效状态发送给分发管理中心；如果接收主机的当前状态为恢复状态，则延迟发送该主机的状态信息，等待进一步确认；

对于处于恢复状态的接收主机，探测节点按照固定的时间间隔继续连续对其进行n次探测，若连续n次探测的结果都是活跃状态，则说明该节点已恢复功能且状态稳定，则将该节点的状态设定为活跃状态，并立即将当前状态信息发送给分发管理中心；

步骤2、分发管理中心接收到来自于探测节点的状态信息后，统一发布到所有的消息分发节点；

步骤3、消息分发节点根据处理业务的类型对接收主机进行分组，并根据接收主机的处理能力为接收主机的每个端口赋权值，再根据端口的权值建立该组接收主机的消息分发映射表，分发映射表中以主机端口为单元进行存储，每个主机端口具有多条记录，记录的条数与该端口的权值相等，每条记录都与一个固定的序号与之相对应；