[发明专利]数据预分区存储周期表创建方法、装置、设备和存储介质

说明书

本发明公开了一种数据存储预分区周期表创建方法、装置、设备和存储介质，一种数据存储预分区周期表创建方法包括：配置待创建数据存储预分区周期表的配置参数，所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数，根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件，根据所述表预分区文件和所述扩展参数，动态创建数据存储预分区周期表。本发明公开的数据存储预分区周期表创建方法、装置、设备和存储介质，用于提高数据存储系统的性能和稳定性。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种数据预分区存储周期表创建方法、装置、设备和存储介质。

背景技术

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力，对大数据提供随机、实时的读写访问功能。

HBase的数据分片按表进行，以行为粒度，基于主键(RowKey)范围进行拆分，每个分片称为一个区域(Region)，包含所有行的一个子集，保存一个表里面的某段连续的数据。一个集群有多张表，每张表划分为多个Region，每台服务器服务很多Region。Region是HBase中分布式存储和负载均衡的最小单元，

面对大数据平台产生的海量日志数据，一般采用分表处理，按照周期表的管理方式，例如每月建立一张新表，存储对应日期范围内产生的数据。因为HBase表按照区域进行分布式存储和负载均衡，所以需要提前创建表分区，称之为预分区。如果采用固定的预分区文件创建新表，随着时间不断地推移，数据是不断地增长的，并且分布规律也会发生变化，可能导致已经分好的区域已经装不住更多的数据，同时会进一步进行分裂(Split)，分裂时会消耗宝贵的集群I/O资源，为了减少性能损耗问题，需要持续观察数据并定期维护，采取人工手动运维方式，不仅费时费力，还可能因为处理不及时给系统的稳定性带来巨大的风险。

发明内容

本发明提供一种数据存储预分区周期表创建方法、装置、设备和存储介质，以提高数据存储系统的性能和稳定性。

第一方面，本发明实施例提供一种数据存储预分区周期表创建方法，包括：

配置待创建数据存储预分区周期表的配置参数，所述配置参数包括表名称规则、表创建周期、表区域分裂阈值与合并阈值、扩展参数；

根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件；

根据所述表预分区文件和所述扩展参数，动态创建数据存储预分区周期表。

在第一方面一种可能的实现方式中，所述根据所述表的配置参数中的表名称规则、表创建周期和表区域分裂阈值与合并阈值创建表预分区文件，包括：

根据所述表的配置参数中的表名称规则和表创建周期，获取以上一周期的数据存储预分区周期表作为采样表；

根据所述表创建周期和表区域分裂阈值与合并阈值，动态计算调整所述采样表，得到所述表预分区文件。

在第一方面一种可能的实现方式中，所述根据所述表的配置参数中的表名称规则和表创建周期，获取以上一周期的数据存储预分区周期表作为采样表，包括：

在第一次创建数据存储预分区周期表是，使用预设的表初始预分区文件作为所述采样表。

在第一方面一种可能的实现方式中，所述根据所述表创建周期和表区域分裂阈值与合并阈值，动态计算调整所述采样表，得到所述表预分区文件，包括：

按区域循环遍历所述采样表的数据文件，计算每个区域的存储空间大小；

根据所述表创建周期和表区域分裂阈值与合并阈值判断所述每个区域的存储空间大小是否超过所述分裂阈值或所述合并阈值；