[发明专利]日志数据处理方法和系统

说明书

本申请涉及一种日志数据处理方法和系统。方法包括：创建多个与数据中心服务器中的消息队列相应的日志数据读取实例；从第二预设时间起，以预设时间段为间隔依次开启创建的各个日志数据读取实例；通过依次开启的日志数据读取实例分别从消息队列读取日志数据；将读取的日志数据持久化存储后，关闭已读取日志数据的日志数据读取实例，直至消息队列中的日志数据被读取完毕。采用本方法能够减少日志数据在传输的过程中被丢失的情况。

技术领域

本申请涉及计算机技术领域，特别是涉及一种日志数据处理方法和系统。

背景技术

随着企业的快速发展，涉及到的业务也越来越广泛，为了提高业务处理效率，企业会为每个业务都搭建相应的子系统，用户可登录子系统中处理相关的业务。但是，业务被“搬移”到线上处理后，登录到各个子系统的用户众多，用户的不正当操作导致信息泄露，给企业造成了损失。

为了对用户的不正当操作进行监督，需要将与用户操作相关的日志数据存储下来，以便后续分析信息泄露的原因。通常存储日志数据的方法是各个子系统实时的将各个操作对应的日志数据写入日志汇总服务器，但是，在数据流量较大时，日志汇总服务器实时接收所有子系统的日志数据的压力非常大，严重地可能造成日志汇总服务器宕机，从而导致部分日志数据丢失。

发明内容

基于此，有必要针对上述技术问题，提供一种能够缓解海量日志数据的接收压力的日志数据处理方法和系统。

一种日志数据处理方法，包括：

创建多个与数据中心服务器中的消息队列相应的日志数据读取实例；

从第二预设时间起，以预设时间段为间隔依次开启创建的各个日志数据读取实例；

通过依次开启的日志数据读取实例分别从所述消息队列读取日志数据；

将读取的日志数据持久化存储后，关闭已读取日志数据的日志数据读取实例，直至所述消息队列中的日志数据被读取完毕。

在其中一个实施例中，所述消息队列为多个；所述创建的各个日志数据读取实例与多个消息队列中的一个对应；所述方法还包括：通过依次开启的日志数据读取实例分别从所对应的消息队列读取日志数据。

在其中一个实施例中，还包括：创建第二开关；当所述第二开关满足第二开启条件时，将所述第二开关置为开启状态，以加载用于连接所述数据中心服务器的第二配置文件，按照所述第二配置文件连接所述数据中心服务器；当出现异常时，将第二开关置为关闭状态，以断开与所述数据中心服务器的连接。

在其中一个实施例中，还包括：在通过所述日志数据读取实例从所述消息队列队首成功读取日志数据时，向所述数据中心服务器反馈针对所述消息队列队首的日志数据读取成功的通知；所述通知用于指示所述数据中心服务器在接收到所述通知时，移除所述消息队列队首的日志数据。

在一个实施例中，还包括：从所述消息队列中读取到日志消息后，依据所述日志消息的组成方式，从读取到的日志消息拆分出日志属性和相应的属性值，以获得多个日志数据。

一种日志数据处理系统，所述系统包括业务服务器、数据中心服务器和日志汇总服务器；

所述业务服务器用于获取日志数据，并将获取的所述日志数据存储在本地；还用于在第一预设时间将存储的日志数据发送至所述数据中心服务器；

所述数据中心服务器用于接收所述业务服务器发送的日志数据，并将接收的日志数据存入消息队列中；

所述日志汇总服务器用于创建多个与所述数据中心服务器中的消息队列相应的日志数据读取实例；还用于从第二预设时间起，以预设时间段为间隔依次开启创建的各个日志数据读取实例；还用于通过依次开启的日志数据读取实例分别从所述消息队列读取日志数据，将读取的日志数据持久化存储后，关闭已读取日志数据的日志数据读取实例，直至所述消息队列中的日志数据被读取完毕。