[发明专利]一种基于WRR队列的日志去重和产生方法及系统

权利要求书

1.一种基于WRR队列的日志去重和产生方法，其特征在于，所述方法包括：

步骤S1、主进程建立日志队列，利用Hash链表做所述队列中日志的去重，将去重后的日志入日志队列；

步骤S2、重新起一个新的日志处理的进程从所述日志队列中取出日志内容存入数据库或者写入磁盘文件；

步骤S3、更新所述日志队列中日志的Hash链表。

2.根据权利要求1所述的一种基于WRR队列的日志去重和产生方法，其特征在于，在所述步骤S1中，所述主进程建立利日志队列的具体方法包括：

主进程根据日志的级别建立不同的级别的日志队列；

所述日志入日志队列时，会根据日志的级别不同入到不同的日志队列。

3.根据权利要求2所述的一种基于WRR队列的日志去重和产生方法，其特征在于，在所述步骤S1中，所述利用Hash链表做所述队列中日志的去重，将去重后的日志入日志队列具体方法包括：

步骤S11、各模块有日志产生，所述主进程直接调用统一接口进行入日志队列操作；

步骤S12、入日志队列前计算所述入日志队列操作的日志的Hash链表，根据所述Hash链表来判断日志是否重复，如果存在所述Hash链表，则认为重复，直接做丢弃处理；

步骤S13、如果hash链中查询不到所述Hash链表，则更新Hash链表，并在所述Hash链表对应的hash节点记录所述hash节点创建的过程。

4.根据权利要求1所述的一种基于WRR队列的日志去重和产生方法，其特征在于，在所述步骤S2中，所述日志处理的进程做日志入数据库时，所述日志处理的进程根据日志队列的级别，定义日志队列的权重，根据所述日志队列的权重来取队列中的日志进行处理。

5.根据权利要求4所述的一种基于WRR队列的日志去重和产生方法，其特征在于，在所述步骤S2中，根据日志队列的权重来取队列中的日志进行处理的具体方法包括：

步骤S21、起日志入库任务；

步骤S22、按照定义的日志队列的权重，取日志队列中的日志进行入库操作；

步骤S23、所述日志队列为空，则退出；

步骤S24、所述日志队列不为空，执行出队操作，将日志写入数据库，完成日志的记录。

6.根据权利要求3所述的一种基于WRR队列的日志去重和产生方法，其特征在于，在所述步骤S3中，所述更新所述日志队列中日志的Hash链表是一个独立线程来进行维护。

7.根据权利要求6所述的一种基于WRR队列的日志去重和产生方法，其特征在于，在所述步骤S3中，所述更新所述日志队列中日志的Hash链表的具体方法包括：

步骤S31、起Hash链表超时删除任务；

步骤S32、遍历日志队列的全局Hash链表，如果当前某个Hash链表的节点已超时，则删除所述Hash链表的节点；

步骤S33、如果当前所述hash节点未超时，则继续遍历下一个hash节点；

步骤S34、如果是最后一个hash节点，则退出此次遍历。

8.一种用于基于WRR队列的日志去重和产生系统，其特征在于，所述系统包括：

第一处理模块，被配置为，主进程建立日志队列，利用Hash链表做所述队列中日志的去重，将去重后的日志入日志队列；

第二处理模块，被配置为，重新起一个新的日志处理的进程从所述日志队列中取出日志内容存入数据库或者写入磁盘文件；

第三处理模块，被配置为，更新所述日志队列中日志的Hash链表。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的一种基于WRR队列的日志去重和产生方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的一种基于WRR队列的日志去重和产生方法中的步骤。