[发明专利]基于cassandra数据库的日志数据存储方法、装置和计算机设备在审
申请号: | 201910324966.3 | 申请日: | 2019-04-22 |
公开(公告)号: | CN110188081A | 公开(公告)日: | 2019-08-30 |
发明(设计)人: | 钟文琴 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/22 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志数据 存储 数据库 哈希 查询条件信息 计算机设备 哈希运算 时间信息 存储日志数据 存储过程 哈希计算 热点数据 信息形成 有效地 申请 | ||
1.一种基于cassandra数据库的日志数据存储方法,其特征在于,包括:
接收待存储的日志数据;
获取所述日志数据的traceID,以及获取当前的时间信息加上所述日志数据中指定信息形成的查询条件信息;
以所述traceID为参数进行哈希运算得到第一哈希值,并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中;以及,以所述查询条件信息为参数进行哈希运算得到第二哈希值,并根据所述第二哈希值将所述日志数据存储到cassandra数据库的第二节点的第二列表中。
2.根据权利要求1所述的基于cassandra数据库的日志数据存储方法,其特征在于,所述以所述traceID为参数进行哈希运算得到第一哈希值,并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中;以及,以所述查询条件信息为参数进行哈希运算得到第二哈希值,并根据所述第二哈希值将所述日志数据存储到cassandra数据库的第二节点的第二列表中的步骤之后,包括:
接收查询日志数据的查询信息;
通过计算所述查询信息的第三哈希值,确定所述查询信息对应的日志数据的存储节点;以及判断所述查询信息是traceID的第一类型和查询条件信息的第二类型中的哪一种类型;
若所述查询信息为所述第一类型,则调用所述存储节点中的第一列表,并在该第一列表中查找与所述查询信息对应的日志数据;
若所述查询信息为所述第二类型,则调用所述存储节点中的第二列表,并在该第二列表中查找与所述查询信息对应的日志数据。
3.根据权利要求1所述的基于cassandra数据库的日志数据存储方法,其特征在于,所述以所述traceID为参数进行哈希运算得到第一哈希值,并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中;以及,以所述查询条件信息为参数进行哈希运算得到第二哈希值,并根据所述第二哈希值将所述日志数据存储到cassandra数据库的第二节点的第二列表中的步骤之后,包括:
接收查询日志数据的查询信息;
通过计算所述查询信息的第三哈希值,确定所述查询信息对应的日志数据的存储节点;以及判断所述查询信息的来源,其中,所述来源包括业务端和研发端;
若来源为所述研发端,则调用所述存储节点中的第一列表,并在该第一列表中查找与所述查询信息对应的日志数据;
若来源为所述业务端,则调用所述存储节点中的第二列表,并在该第二列表中查找与所述查询信息对应的日志数据。
4.根据权利要求1所述的基于cassandra数据库的日志数据存储方法,其特征在于,所述以所述traceID为参数进行哈希运算得到第一哈希值,并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中的步骤之前,包括:
判断是否获取到所述日志数据的traceID;
若否,则将所述日志数据随机存储到所述cassandra数据库中任意节点的第一列表中;
若是,则生成“以所述traceID为参数进行哈希运算得到第一哈希值,并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中”的命令。
5.根据权利要求4所述的基于cassandra数据库的日志数据存储方法,其特征在于,所述将所述日志数据随机存储到所述cassandra数据库中任意节点的第一列表中的步骤之后,包括:
记录随机存储到所述cassandra数据库中任意节点的第一列表中的所述日志数据的数量;
定时将所述数量发送给预设的邮箱。
6.根据权利要求1所述的基于cassandra数据库的日志数据存储方法,其特征在于,所述获取当前的时间信息加上所述日志数据中指定信息形成的查询条件信息的步骤,包括:
获取当前时间,以及预设的时间单位;
将所述当前时间,转换成以所述时间单位为标准的所述当前的时间信息;
将所述当前的时间信息加上所述日志数据中指定信息形成所述查询条件信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910324966.3/1.html,转载请声明来源钻瓜专利网。