[发明专利]基于HBase数据库的时序数据的存储方法及装置

说明书

本申请公开了一种基于HBase数据库的时序数据的处理方法及装置，方法包括：获取时序数据，时序数据包括时间信息、数据类型和数据信息；将时间信息和数据类型存储为具有第一长度的key；对数据信息进行编码操作，得到编码数据；确定编码数据的长度值；将长度值和编码数据存储为value；依据key和value确定时序数据的存储数据。该基于HBase数据库的时序数据的处理方法及装置，将所有的key值存储为包括时间信息和数据类型的固定长度的值，将大小可能不相同的数据长度存储在value值中，由于value值的存储空间没有固定限制，因此能够支持数据长度不确定的、变长类型的数据的存储，从而能够满足多样的时序数据的存储需求，提升用户的使用体验。

技术领域

本申请涉及数据存储技术，更具体的说，是涉及一种基于HBase数据库的时序数据的存储方法及装置。

背景技术

随着信息化社会的不断发展建设，在一些需要长期或不间断监控状态的工作中，会产生大量的时间序列数据，而如何对这些时间序列数据进行更好的存储和管理，也成为领域内相关技术人员研究的主要课题之一。

现有的一些时间序列数据库，往往仅支持存储一些数值长度固定的简单类型的数据，例如Integer、Long、Float、Double，而对于其他数值长度不确定的、复杂的数据类型的存储则不支持，或者支持效果不佳。而且，在实际工业现场，获取的数据类型通常包括多种，现有技术中尚不存在能够对多种类型的数据进行统一化存储及管理的相关技术。

发明内容

有鉴于此，本申请提供如下技术方案：

一种基于HBase数据库的时序数据的处理方法，包括：

获取时序数据，所述时序数据包括时间信息、数据类型和数据信息；

将所述时间信息和所述数据类型存储为具有第一长度的key；

对所述数据信息进行编码操作，得到编码数据；

确定所述编码数据的长度值；

将所述长度值和所述编码数据存储为value；

依据所述key和所述value确定所述时序数据的存储数据。

可选的，所述对所述数据信息进行编码操作，得到编码数据，包括：

对所述数据信息进行二进制编码，得到数据编码。

可选的，所述将所述长度值和所述数据编码存储为value前，还包括：

将所述长度值进行Varint编码，得到长度编码；

则所述将所述长度值和所述数据编码存储为value，包括：

将所述长度编码和所述数据编码拼接到一起存储为value。

可选的，所述将所述时间信息和所述数据类型存储为具有第一长度的key，包括：

将所述时间信息和所述数据类型的枚举值存储为具有固定长度的key。

可选的，还包括：

将预设时间周期中的存储数据存储在一行，并为该行中的每一个存储数据设置相同的Rowkey。

可选的，还包括：

对同一行的所有存储数据进行压缩处理；

所述压缩处理包括：

将同一行的所有存储数据的key合并为压缩key，并将同一行的所有存储数据的value合并为压缩value，得到压缩处理数据。

可选的，还包括：

对所述压缩处理数据进行解压缩操作；