[发明专利]一种被动式生产、消费计算机日志的需求实现方法及系统

说明书

技术领域

本发明涉及日志分析领域，特别涉及一种被动式生产、消费计算机日志的实现方法及系统。

背景技术

计算机日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同。比如，Web日志，可能包括但不限于各种前端Web服务器：apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。在Web日志中，每条日志通常代表着用户的一次访问行为。从一条日志中，可以得到很多有用的信息，例如访问者的IP、访问的时间、访问的目标网页、来源的地址以及访问者所使用的客户端的UserAgent信息等。如果需要更多的信息，则要用其它手段去获取：例如想得到用户屏幕的分辨率，一般需要使用js代码单独发送请求；而如果想得到诸如用户访问的具体新闻标题等信息，则可能需要Web应用程序在自己的代码里输出。然而，如何在具有日志关联性的系统之间，如何实现生产日志、消费日志从而实现日志的需求，是目前有待解决的问题。

发明内容

本发明要解决的技术问题是，让软件开发人员通过简单的基本操作完成过去海量的编码劳动，提高工作效率。

本系统处在具有日志关联性的系统之间，属于一种中间件产品。

解决上述技术问题，本发明提供了一种被动式生产、消费计算机日志的需求实现方法,包括如下步骤：

根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；

将所述数据库日志按照分布式队列的方式输入到日志消费队列中；

在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。

更进一步，根据需求记录业务操作的日志的方法具体为：

根据需求生成配置文件，

在配置文件中添加配置节点，

根据所述配置节点，添加自定义信息，

对上述配置节点进行检查，若确认无误，则将捕获的属性信息和所述自定义信息合并，然后再提交至数据库中。

更进一步，所述配置文件按照XML和/或JSON格式储存。

更进一步，按照已校验规范在数据库中生成对应的数据库日志包括如下步骤：

根据需求记录业务操作的日志中引起数据库中操作过程，并在数据库中产生binLog日志。

更进一步，在数据库中产生binLog日志还包括如下步骤：

监视所述binLog日志的变化：若有新日志产生时，日志转化读取新日志，并通过数据库dump协议将binLog进行解析，

对解析后的binLog日志的不同的格式进行转换，形成统一protobuf格式数据，

对所述protobuf格式数据的日志进行重复和可用校验，

若校验通过，则将所述protobuf格式数据进行持久化后将protobuf格式数据发往分布式队列。

更进一步，方法还包括：将所述日志消费队列放置于一需要订阅日志的系统中，消费者组中的消费者抢夺到日志后，再根据优化算法安排消费，同时上述系统的事件机制后完成消费。优化算法安排消费的方法包括但不限于，排队优选级、日志优先级、消费优选级等。

基于上述本发明还提供了一种被动式生产、消费计算机日志的需求实现系统,包括：规范定义模块、日志转换模块以及日志订阅消费模块，

所述规范定义模块，用以根据需求记录业务操作的日志，并按照已校验规范在数据库中生成对应的数据库日志；

所述日志转换模块，用以将所述数据库日志按照分布式队列的方式输入到日志消费队列中；

所述日志订阅消费模块，用以在所述日志消费队列中按照所属的消费者组，在同组的消费者中完成消费。

更进一步，所述规范定义模块中的配置方式为XML或者JSON。

更进一步，所述规范定义模块位于CRM系统中。

更进一步，所述所述日志订阅消费模块还用以把数据库中的binlog日志转换成与已校验规范对应的计算机数据结构。

本发明的有益效果：

本发明的方法让软件开发人员通过简单的基本操作完成过去海量的编码劳动，提高工作效率。本发明中的系统处在具有日志关联性的系统之间，属于一种中间件产品，从而在具有日志关联性的系统之间实现生产日志、消费日志从而实现日志的需求。

附图说明

图1是本发明一实施例中的方法流程示意图；

图2是本发明一实施例中的系统结构示意图；