[发明专利]基于cassandra数据库的日志数据存储方法、装置和计算机设备

说明书

本申请揭示了一种基于cassandra数据库的日志数据存储方法、装置和计算机设备，其中方法包括：接收待存储的日志数据；获取日志数据的traceID，以及获取当前的时间信息加上日志数据中指定信息形成的查询条件信息；以traceID为参数进行哈希运算得到第一哈希值，并根据第一哈希值将日志数据存储到cassandra数据库的第一节点的第一列表中；以及，以查询条件信息为参数进行哈希运算得到第二哈希值，并根据第二哈希值将日志数据存储到cassandra数据库的第二节点的第二列表中。由于存储日志数据的时候，分别使用traceID和带有时间信息的查询条件信息进行哈希计算，所以可以比较均匀分布地将日志数据存储到cassandra数据库的各节点中，可以有效地防止日志数据存储过程中出现热点数据问题。

技术领域

本申请涉及到日志数据存储领域，特别是涉及到一种基于cassandra数据库的日志数据存储方法、装置和计算机设备。

背景技术

Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynamo(分布式的Key-Value存储系统)更丰富，但支持度却不如文档存储MongoDB(介于关系数据库和非关系数据库之间的开源产品，是非关系数据库当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型)。Cassandra最初由Facebook开发，后转变成了开源项目。它是一个网络社交云计算方面理想的数据库。以Amazon专有的完全分布式的Dynamo为基础，结合了GoogleBigTable基于列族(Column Family)的数据模型。基于Cassandra数据库存储数据，一般为海量数据的存储，所以，目其存在容易造成大量的数据集中存储到一个节点中，产生热点数据的问题。

发明内容

本申请的主要目的为提供一种基于cassandra数据库的日志数据存储方法、装置和计算机设备，旨在解决现有技术中Cassandra数据库存储数据容易产生热点数据的问题。

为了实现上述发明目的，本申请提出一种基于cassandra数据库的日志数据存储方法，包括：

接收待存储的日志数据；

获取所述日志数据的traceID，以及获取当前的时间信息加上所述日志数据中指定信息形成的查询条件信息；

以所述traceID为参数进行哈希运算得到第一哈希值，并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中；以及，以所述查询条件信息为参数进行哈希运算得到第二哈希值，并根据所述第二哈希值将所述日志数据存储到cassandra数据库的第二节点的第二列表中。

进一步地，所述以所述traceID为参数进行哈希运算得到第一哈希值，并根据所述第一哈希值将所述日志数据存储到cassandra数据库的第一节点的第一列表中；以及，以所述查询条件信息为参数进行哈希运算得到第二哈希值，并根据所述第二哈希值将所述日志数据存储到cassandra数据库的第二节点的第二列表中的步骤之后，包括：

接收查询日志数据的查询信息；

通过计算所述查询信息的第三哈希值，确定所述查询信息对应的日志数据的存储节点；以及判断所述查询信息是traceID的第一类型和查询条件信息的第二类型中的哪一种类型；

若所述查询信息为所述第一类型，则调用所述存储节点中的第一列表，并在该第一列表中查找与所述查询信息对应的日志数据；

若所述查询信息为所述第二类型，则调用所述存储节点中的第二列表，并在该第二列表中查找与所述查询信息对应的日志数据。