[发明专利]数据存储方法、装置及电子设备

说明书

本公开关于一种数据存储方法、装置及电子设备，涉及大数据存储技术领域。其中，该方法应用于分布式存储系统中的管理平台，内容包括接收终端设备发送的待存储数据，待存储数据中携带有终端标识；创建与终端标识对应的HBase数据表；根据终端标识、待存储数据的属性信息在HBase数据表中配置用于指示数据存储位置的行键标识；根据行键标识将待存储数据写入与管理平台对应的HBase数据库，以提高数据写入效率。

技术领域

本公开涉及大数据存储技术领域，尤其涉及一种数据存储方法、装置及电子设备。

背景技术

目前，在将数据文件转化存储到HBase数据库所涉及的相关技术中，主要采用以下几种方式实现数据存储。

第一种是利用HBase接口编写专用程序实现数据对接；

第二种是使用Bulk load等工具完成数据导入；

第三种是编写MapReduce程序向HBase数据库导入数据；

但是，前述三种存储方式在使用过程中存在通用性差、存储复杂的问题，无法达到利用HBase实现大数据快速存储的目的。

发明内容

本公开提供一种数据存储方法、装置、电子设备及计算机可读存储介质，以至少解决前述相关技术存在的一个技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据存储方法，应用于分布式存储系统中的管理平台，所述方法包括：

接收终端设备发送的待存储数据，所述待存储数据中携带有终端标识；

创建与所述终端标识对应的HBase数据表；

根据所述终端标识、所述待存储数据的属性信息在所述HBase数据表中配置用于指示数据存储位置的行键标识；

根据所述行键标识将所述待存储数据写入与所述管理平台对应的HBase数据库。

进一步，作为一种可能的实现方式，所述根据所述终端标识、所述待存储数据的属性信息在所述HBase数据表中配置用于指示数据存储位置的行键标识的步骤，包括：

对所述终端标识进行哈希运算得到第一哈希值，作为第一前缀；

对当前时间值进行运算得到时间字段，将倒排后的所述时间字段作为第二前缀；

对所述第一前缀、所述第二前缀以及所述待存储数据的属性信息进行信息组合得到行键标识。

进一步，作为一种可能的实现方式，所述待存储数据的属性信息至少包括文件名、字段名、字段值中的一种。

进一步，作为一种可能的实现方式，所述根据所述行键标识将所述待存储数据写入与所述管理平台对应的HBase数据库的步骤之前，所述方法还包括：

获取所述待存储数据对应的指令编码；

基于所述指令编码在所述HBase数据表中配置用于指示数据存储位置的列键标识；

所述根据所述行键标识将所述待存储数据写入与所述管理平台对应的HBase数据库的步骤，包括：

根据所述行键标识以及列键标识将所述待存储数据写入与所述管理平台连接的HBase数据库。

进一步，作为一种可能的实现方式，所述接收终端设备发送的待存储数据的步骤之后，所述方法还包括：

检测是否存在与所述终端标识对应的HBase数据表；

在未检测到与所述终端标识对应的HBase数据表时，执行所述创建与所述终端标识对应的指定HBase数据表的步骤；