[发明专利]应用系统日志数据的处理方法、应用系统、设备及介质在审
申请号: | 202010602738.0 | 申请日: | 2020-06-29 |
公开(公告)号: | CN111813751A | 公开(公告)日: | 2020-10-23 |
发明(设计)人: | 万伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/172;G06F16/22;G06F16/215;G06F16/27;G06F21/60 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 杨雪梅 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 应用 系统 日志 数据 处理 方法 设备 介质 | ||
1.一种应用系统日志数据的处理方法,其特征在于,所述应用系统日志数据的处理方法包括:
采集所述应用系统生成的日志数据,并将所述日志数据缓存至临时数据库中;
按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗,并为经过清洗的日志数据创建索引标签;
将携带有所述索引标签的日志数据存储至预设数据库中以供查询。
2.如权利要求1所述的应用系统日志数据的处理方法,其特征在于,所述将所述日志数据缓存至临时数据库中的步骤,包括:
对采集到的日志数据进行压缩;
按照预设第二周期将经过压缩后的日志数据发送至所述临时数据库,以供所述临时数据对经过压缩后的日志数据进行持久缓存。
3.如权利要求1所述的应用系统日志数据的处理方法,其特征在于,所述按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗的步骤,包括:
按照预设第一周期将所述临时数据库中缓存的日志数据发送至预设清洗服务器,其中,所述预设清洗服务器按照分布式架构进行设置;
接收所述预设清洗服务器对包含有敏感信息的目标日志数据进行清洗后异步反馈的清洗结果。
4.如权利要求3所述的应用系统日志数据的处理方法,其特征在于,所述为经过清洗的日志数据创建索引标签的步骤,包括:
从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据;
检测所述留存日志数据的数据源,根据所述数据源为所述留存日志数据创建索引标签,并将所述索引标签存储于区块链中。
5.如权利要求4所述的应用系统日志数据的处理方法,其特征在于,在所述从所述清洗结果中提取所述预设清洗服务器清洗所述目标日志数据后保留下的留存日志数据的步骤之后,还包括:
检测所述留存日志数据的采集信息,并根据所述采集信息为所述留存日志数据创建索引标签并将所述索引标签存储于区块链中,其中,所述采集信息包括采集时间。
6.如权利要求1所述的应用系统日志数据的处理方法,其特征在于,所述将携带有所述索引标签的日志数据存储至预设数据库中以供查询的步骤,包括:
将携带有所述索引标签的日志数据转化为结构化数据,并根据所述索引标签创建连接所述预设数据库的数据流通道;
针对所述数据流通道设置存储队列,并将所述结构化数据传输至所述存储队列中;
按照所述存储队列的存取规则将所述结构化数据存储至所述预设数据库中以供基于所述索引标签对日志数据进行查询。
7.如权利要求6所述的应用系统日志数据的处理方法,其特征在于,在所述将携带有所述索引标签的日志数据存储至预设数据库中以供查询的步骤之后,还包括:
对存储在所述预设数据库中的日志数据进行展示;
所述对存储在所述预设数据库中的日志数据进行展示的步骤,包括:
从所述预设数据库存储的结构化数据中,获取所述索引标签对应的目标结构数据;
将所述目标结构数据输出至所述应用系统的前端页面以对所述索引标签关联的日志数据进行展示。
8.一种应用系统,其特征在于,所述应用系统包括:
采集模块,用于采集所述应用系统生成的日志数据,并将所述日志数据缓存至临时数据库中;
清洗模块,用于按照预设第一周期对所述临时数据库中缓存的日志数据进行清洗,并为经过清洗的日志数据创建索引标签;
存储模块,用于将携带有所述索引标签的日志数据存储至预设数据库中以供查询。
9.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器,通信总线以及存储在所述存储器上的应用系统日志数据的处理程序,
所述通信总线用于实现处理器与存储器间的通信连接;
所述处理器用于执行所述基于互联网的应用系统日志数据的处理程序,以实现如权利要求1至7中任一项所述的应用系统日志数据的处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有应用系统日志数据的处理程序,所述应用系统日志数据的处理程序被处理器执行时实现如权利要求1至7中任一项所述的应用系统日志数据的处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010602738.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种髋部速度测试训练机
- 下一篇:一种基于被访问次数的数据缓存方法和装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置