[发明专利]一种计算机日志数据的异步处理方法及其介质、系统在审
申请号: | 201810067698.7 | 申请日: | 2018-01-24 |
公开(公告)号: | CN108319543A | 公开(公告)日: | 2018-07-24 |
发明(设计)人: | 张永定;李文俊;杨武;雷朋朋 | 申请(专利权)人: | 广州江南科友科技股份有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06F9/46;G06F9/48 |
代理公司: | 广东翰锐律师事务所 44442 | 代理人: | 陈业胜;杜锴健 |
地址: | 510000 广东省广州市科学城*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 日志数据 写入 暂存 计算机日志 工作线程 行为信息 异步处理 多线程 线程 队列 临时存储空间 读取 计算机缓存 计算机内存 错误日志 分类处理 日志文件 事务操作 事务行为 系统性能 写入操作 有效地 分辨 事务 并发 记录 保证 | ||
本发明公开一种计算机日志数据的异步处理方法及其介质、系统,包括工作线程和写日志线程,步骤包括:启动工作线程执行事务操作;将执行事务产生的行为信息记录在计算机缓存;判断事务是否结束;将结束的事务行为信息发送到暂存队列;所述暂存队列为计算机内存中的临时存储空间;启动写日志线程,读取暂存队列的行为信息,并写入到日志文件中。本发明针对现有技术的日志写入操作问题,特别是多线程并发情况下日志写入问题,让日志数据写入不影响正常的执行操作,并让多线程的日志数据写入归一,自动分辨错误日志,有效地保证日志数据的完整性及分类处理,提高系统性能。
技术领域
本发明涉及计算机数据处理领域,特指一种计算机日志数据的异步处理方法及其介质、系统。
背景技术
随着计算机技术日益发展,在开发高性能、高并发计算机服务器时,后台系统记录日志是必不可少的,特别在密码服务平台、综合密钥管理系统、制卡系统等产品的实际应用中,记录日志有便于后台排查错误,当后台服务系统日志库性能不好时,会严重影响平台系统的性能。
现有技术的日志库,每次记录一行日志,就往日志文件中写入操作。例如在后台服务程序的每笔交易,都会记录多条日志,每记录一条日志都需要往日志文件中写日志。
如图1所示,现有的写日志流程:(1)写日志线程加锁;(2)打开日志文件;(3)将日志信息写入到日志文件中;(4)关闭日志文件句柄;(5)释放线程锁;(6)继续执行,是否需要写日志,如果需要,返回步骤(1);否则结束写日志。
上述步骤,每次将日志写入到日志文件中,都需要执行打开文件,写日志到文件和关闭文件句柄等操作。由于写日志是同步进行的,只有日志写完到日志文件中,才会继续往下执行下一步操作,这样的写日志方式将非常消耗服务器性能,增加服务器的运载负担。
另外,由于都是单向的写日志操作,使得正常和错误日志内容没法分开写入,但随着日志量逐渐增大,在日志量大的情况下,查找几笔错误的交易,是非常困难和消耗时间的。
特别在多线程操作下,多线程并发写日志时,如图1的流程所示,一般都需要加线程锁,才能保证写的日志不会错乱,否则多笔交易的日志会相互穿插,使得日志写入操作十分混乱。甚至部分日志查看还需要使用工具过滤出各笔交易日志,才能看到各笔交易的完整交易日志,这样将进一步加大分辨各线程日志的困难。因此,对于多线程操作下都需要加线程锁,导致系统负载增加,严重影响系统性能。
发明内容
本发明目的在于提供一种计算机日志数据的异步处理方法及其介质、系统,针对现有技术的日志写入操作问题,特别是多线程并发情况下日志写入问题,让日志数据写入不影响正常的执行操作,并让多线程的日志数据写入归一,自动分辨错误日志,有效地保证日志数据的完整性及分类处理,提高系统性能。
为了达到上述目的给出,本发明的技术方案:
一种计算机日志数据的异步处理方法,包括工作线程和写日志线程,至少包括如下步骤:
S1:启动工作线程执行事务操作;
S2:将执行事务产生的行为信息记录在计算机缓存;
S3:判断事务是否结束;
S4:将结束的事务行为信息发送到暂存队列;所述暂存队列为计算机内存中的临时存储空间;
S5:启动写日志线程,读取暂存队列的行为信息,并写入到日志文件中。
其中,所述步骤S3的判断事务是否结束步骤包括:
A1:判断事务是否为完成操作的行为指令;
A2:如是,跳转到S4,结束工作线程的事务操作;否则,返回S1,继续执行事务操作,并同时记录行为信息到缓存中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州江南科友科技股份有限公司,未经广州江南科友科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810067698.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:信息处理方法、装置及系统
- 下一篇:一种基于PCIe的自动化报告分析方法