[发明专利]一种多层次集群式架构的多源安全日志采集系统及方法

摘要

本发明公开了一种多层次集群式架构的多源安全日志采集系统及方法，在交换机、防火墙等网络设备日志和网络行为日志等多源异构日志进行统一采集；在日志源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置，并实现对单个日志源采集任务的启停操作，保障日志采集的不间断性；在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量日志数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase数据库和ES索引中，既能够支持智能化的大数据分析，也能够支持日志在线查询分析。

主权项

1.一种多层次集群式架构的多源安全日志采集系统，其特征在于，包括Syslog客户端、访问控制服务器、负载均衡器、采集前置服务集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库集群和ES集群；所述的Syslog客户端将安全日志封装成Syslog消息，并发送至访问控制服务器；所述的访问控制服务器与Syslog客户端、负载均衡器通信连接，并控制Syslog客户端和负载均衡模块监听端口的网络连通性；所述的负载均衡器与采集前置服务集群、访问控制服务器通信连接，并根据负载均衡策略，将采集日志流分发至采集前置服务集群；所述的采集前置服务集群包括至少两个采集前置服务模块，并与负载均衡器、Hbase存储服务集群、ES存储服务集群通信连接，以将日志流分发转发至Hbase存储服务集群和ES存储服务集群；所述的Hbase数据存储服务集群包括至少两个Hbase数据存储服务模块，并与采集前置服务集群、Hbase数据库集群通信连接，将接收到的Syslog消息解析成Hbase数据表格式，并存储到Hbase数据库集群中；所述的ES存储服务集群包括至少两个ES数据存储服务模块，并与采集前置服务集群、ES集群通信连接，ES存储服务集群将接收到的Syslog消息解析成ES消息格式，并存储到ES集群中；所述的采集前置服务模块包括第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程；所述的第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路；第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列；第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；组包线程用于将第一缓存队列的消息对象取出，打包成遵守Java消息服务规范的消息体；负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。