[发明专利]日志处理方法、装置、设备和存储介质有效
申请号: | 201811301168.0 | 申请日: | 2018-11-02 |
公开(公告)号: | CN109522316B | 公开(公告)日: | 2020-09-29 |
发明(设计)人: | 井玉成;牟晓光 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张宁;刘芳 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 处理 方法 装置 设备 存储 介质 | ||
1.一种日志处理方法,其特征在于,包括:
获取源端中的多个日志,采用循环覆盖的方式,将所述多个日志存储至N个日志组中,其中,所述N个日志组中的每一个日志组中包括至少一个日志,N为大于1的正整数;
在确定所述N个日志组中的P个日志组的日志发生数据变更时,获取所述P个日志组中的每一个日志组的变更数据,其中,P为大于等于1的正整数,P小于等于N;
并行的对所述P个日志组中的每一个日志组的变更数据进行解析,得到与所述P个日志组中的每一个日志组对应的解析数据;
将与所述P个日志组中的每一个日志组对应的解析数据,发送给接收端。
2.根据权利要求1所述的方法,其特征在于,并行的对所述P个日志组中的每一个日志组的变更数据进行解析,得到与所述P个日志组中的每一个日志组对应的解析数据,包括:
在并行的对所述P个日志组中的每一个日志组的变更数据进行解析时,检测所述P个日志组中的每一个日志组是否满足预设条件,其中,所述预设条件表征日志组中的日志即将被新日志覆盖;
将满足预设条件的日志组进行复制处理,得到与满足预设条件的日志组对应的复制后日志;对所述复制后日志进行解析,得到与满足预设条件的日志组对应的解析数据;
对不满足预设条件的日志组中的变更数据进行解析,得到与不满足预设条件的日志组对应的解析数据。
3.根据权利要求2所述的方法,其特征在于,所述预设条件为|B-M%N|D,B是与日志组对应的日志变更监听器的编号,M是当前正在被写入日志的日志组的编号,D是预设阈值。
4.根据权利要求1所述的方法,其特征在于,所述解析数据中包括数据包标记,所述数据包标记用于标记变更数据的产生次序;
将与所述P个日志组中的每一个日志组对应的解析数据,发送给接收端,包括:
根据所述数据包标记,将与所述P个日志组中的每一个日志组对应的解析数据进行排序,得到排序后的解析数据的序列,其中,具有相同数据包标记的解析数据根据解析次序被排序;
将所述序列中的解析数据,依次发送给接收端。
5.根据权利要求4所述的方法,其特征在于,所述解析数据中还包括事务标识,所述事务标识用于标记与解析数据对应的事务;将所述序列中的解析数据,依次发送给接收端,包括:
将所述序列中的具有相同事务标识的解析数据进行合成处理,得到与每一个事务标识对应的合成数据;
在确定接收到与每一个事务标识对应的提交操作标记时,将与每一个事务标识对应的合成数据发送给所述接收端,其中,所述提交操作标记用于指示与解析数据对应的事务已结束。
6.根据权利要求5所述的方法,其特征在于,将与每一个事务标识对应的合成数据发送给所述接收端,包括:
根据预设的事务标识与接收端标识之间的对应关系,确定与每一个事务标识对应的接收端标识;
将与每一个事务标识对应的合成数据,发送给与每一个事务标识对应的接收端。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述P个日志组中的每一个日志组的变更数据中包括数据包标记,所述数据包标记用于标记变更数据的产生次序;
所述N个日志组中的每一个日志组与一个日志变更监听器一一对应;所述数据包标记为A=B+N*(C-1),其中,B是与日志组对应的日志变更监听器的编号,C是与日志组对应的扫描次数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811301168.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据库处理方法及系统
- 下一篇:一种反欺诈预警方法及系统