[发明专利]日志存储检索方法、电子装置及计算机设备在审
申请号: | 201910522489.1 | 申请日: | 2019-06-17 |
公开(公告)号: | CN110362549A | 公开(公告)日: | 2019-10-22 |
发明(设计)人: | 袁康 | 申请(专利权)人: | 平安普惠企业管理有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/31;G06F16/33 |
代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 林彦之 |
地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志数据 数据库 日志存储 检索 电子装置 存储 字段 风险控制系统 计算机设备 海量日志 快速检索 映射关系 整合 申请 | ||
本发明公开了一种日志存储检索方法。将风险控制系统的多条日志数据存储到第一数据库;根据所述多笔日志数据建立多个键值和组成所述多个键值的各个字段的映射关系,并将所述多个键值与每一个键值的申请号存储到第二数据库;当要检索一条日志数据时,根据某个或某些字段去第二数据库查出对应所述条日志数据的键值;及根据在所述第二数据库查出对应所述条日志数据的键值,再去所述第一数据库查出对应所述键值的日志数据。本发明还提供使用日志存储检索方法的电子装置,通过整合ElasticSearch数据库与HBase数据库,实现海量日志的存储和快速检索。
技术领域
本发明涉及过程优化的技术领域,尤其涉及一种日志存储检索方法、电子装置、计算机设备及存储介质。
背景技术
目前业内通过关系型数据库如Oracle存储检索日志,面临着存储容量有限问题,当数据量剧增时检索效率较低;通过非关系型数据库如MongoDB存储检索日志,日志量剧增时,存储空间相应的增长,耗费昂贵的费用。
由于风险控控系统每天的日志量很大,传统的关系型数据库难以满足海量日志的存储需求,所以需要将日志存储到非关系型数据库。当数据量很大时,检索效率明显降低。
发明内容
有鉴于此,本发明提出一种日志存储检索方法,通过整合ElasticSearch数据库与HBase数据库,实现海量日志的存储和快速检索。
为实现上述目的,本发明提出一种日志存储检索方法,应用于电子装置中,该方法包括步骤:将风险控制系统的多条日志数据存储到第一数据库,其中,一条日志数据对应一个行键的键值;根据所述多条日志数据建立多个键值和组成所述多个键值的各个字段的映射关系,并将所述映射关系存储到第二数据库;当检索目标日志数据时,根据所述目标日志数据对应的字段从第二数据库查找对应所述目标日志数据的键值;及根据所述目标日志数据的键值,从所述第一数据库查找对应所述目标日志数据的的日志数据。
进一步地,所述多个键值的各个字段包括申请号和日期,根据所述申请号和所述日期两个字段查所述日志数据时,先根据所述申请号和所述日期去所述第二数据库找到所述键值;及通过所述第二数据库的二级索引组合多个查询字段。
进一步地,所述键值由多个字段拼成,格式为:递增序号_申请号_调用ID_策略集编码_查询类型_日期_序列号。
进一步地,所述日志数据至少包括申请号、入参、出参、处理器ID、请求开始时间和请求结束时间。
进一步地,所述第一数据库为HBase数据库,所述第二数据库为ElasticSearch数据库。
为实现上述目的,本发明还提出一种电子装置,包括存储模块、建立模块与查找模块。所述存储模块用于将风险控制系统的多条日志数据存储到第一数据库,其中,一条日志数据对应一个行键的键值。所述建立模块用于根据所述多条日志数据建立多个键值和组成所述多个键值的各个字段的映射关系,并将所述映射关系储到第二数据库。所述查找模块用于当检索目标日志数据时,根据所述目标日志数据对应的字段从第二数据库找出对应所述目标日志数据的键值,及根据所述目标日志数据的键值,从所述第一数据库找出对应所述目标日志数据的日志数据。
进一步地,所述多个键值的各个字段包括申请号和日期,所述查找模块根据所述申请号和所述日期两个字段查所述日志数据时,先根据所述申请号和所述日期去所述第二数据库找到所述键值,及通过所述第二数据库的二级索引组合多个查询字段。
进一步地,所述键值由多个字段拼成,格式为:递增序号_申请号_调用ID_策略集编码_查询类型_日期_序列号。
为实现上述目的,本发明还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述日志存储检索方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安普惠企业管理有限公司,未经平安普惠企业管理有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910522489.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:日志提取方法及相关设备
- 下一篇:分布式链路追踪的日志系统