[发明专利]一种基于WRR队列的日志去重和产生方法及系统

说明书

本发明提出一种基于WRR队列的日志去重和产生方法及系统。其中，方法包括：主进程建立日志队列，利用Hash链表做所述队列中日志的去重，将去重后的日志入日志队列；重新起一个新的日志处理的进程从所述日志队列中取出日志内容存入数据库或者写入磁盘文件；更新所述日志队列中日志的Hash链表。本发明采用hash链表的方法来确保在一定的时间段内不会有相同的日志产生，同时对不同的日志在入库时，根据各自的权重来做出队列的操作，从而保证根据各业务模块重要程度记录日志。

技术领域

本发明属于计算机领域，尤其涉及一种基于WRR队列的日志去重和产生方法及系统。

背景技术

不论是功能中的一部分还是调试的重要功能，日志的去重和归并都是一个无法回避的难题。

现有技术方案的内容：

直接产生并记录日志，在业务模块将日志记录到磁盘中。

现有技术方案的缺点：

影响性能：在业务模块进行大量的I/O操作，对业务模块实时性有较大的影响，甚至会直接导致业务的断连；

大量重复：不做去重操作，一个常见的日志，可能会大量的重复出现；

重点不突出：各模块的日志都均衡的产生，不能基于业务来分开存储、展示，不能突出重点。

发明内容

为解决上述技术问题，本发明提出一种基于WRR队列的日志去重和产生方法的技术方案，以解决上述技术问题。

本发明第一方面公开了一种基于WRR队列的日志去重和产生方法；所述方法包括：

步骤S1、主进程建立日志队列，利用Hash链表做所述队列中日志的去重，将去重后的日志入日志队列；

步骤S2、重新起一个新的日志处理的进程从所述日志队列中取出日志内容存入数据库或者写入磁盘文件；

步骤S3、更新所述日志队列中日志的Hash链表。

根据本发明第一方面的方法，在所述步骤S1中，所述主进程建立利日志队列的具体方法包括：

主进程根据日志的级别建立不同的级别的日志队列；

日志入日志队列时，会根据日志的级别不同入到不同的日志队列。

根据本发明第一方面的方法，在所述步骤S1中，利用Hash链表做所述队列中日志的去重，将去重后的日志入日志队列具体方法包括：

步骤S11、各模块有日志产生，所述主进程直接调用统一接口进行入日志队列操作；

步骤S12、入日志队列前计算入日志队列操作的日志的Hash链表，根据所述Hash链表来判断日志是否重复，如果存在所述Hash链表，则认为重复，直接做丢弃处理；

步骤S13、如果hash链中查询不到所述Hash链表，则更新Hash链表，并在所述Hash链表对应的hash节点记录所述hash节点创建的过程。

根据本发明第一方面的方法，在所述步骤S2中，所述日志处理的进程做日志入数据库时，所述日志处理的进程根据日志队列的级别，定义日志队列的权重，根据日志队列的权重来取队列中的日志进行处理。

根据本发明第一方面的方法，在所述步骤S2中，根据日志队列的权重来取队列中的日志进行处理的具体方法包括：

步骤S21、起日志入库任务；

步骤S22、按照定义的日志队列的权重，取日志队列中的日志进行入库操作；

步骤S23、所述日志队列为空，则退出；