[发明专利]一种分片切分的方法和装置

说明书

本发明公开了分片切分的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取当前目标表在服务器上最大分片的大小；确定最大分片的大小大于分片大小阈值，则执行对所述分片的切分；其中，所述的分片大小阈值根据当前目标表在服务器上的分片数量获得。该实施方式能够有效提升集群资源利用率，并解决了数据热点问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分片切分的方法和装置。

背景技术

HBase(HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价服务器上搭建起大规模结构化存储集群。)技术已经广泛应用在大数据领域，其特点是可以水平扩展集群的规模，将大量的数据均匀分布在集群的每台服务器上，从而获得非常高的读写性能。然而，现有的HBase数据分片管理方法不能有效的利用集群资源，并存在热点问题。

HBase分片切分有两种常规做法：

第一种，定值算法，使用固定的分片大小。例如：设置每个分片固定为50G，当任何一个数据分片大小达到50G时，HBase系统会将这个分片切分为两个25G的分片。此方法简单易行，但是当数据量小于50G的时候，将会产生热点。此分片存储在集群中的某一台服务器上，集群中只有此服务器繁忙，其他服务器空闲。集群的资源利用率非常低，无法发挥HBase分布式的优势。

第二种，立方算法，公式为：基本分片大小*2*分片数量^3。首先设置一个基本分片大小，例如128M。然后检查指定表在当前服务器上的分片数量，例如有1个分片；代入公式：128M*2*1^3＝256M。其意义是在分片大小达到256M的时候进行切分，切分为两个128M大小的分片。以次类推，1个分片时分片大小为128M，2个分片时大小为1024M，3个分片时大小为3456M。直到分片大小达到我们设置的最大数值，例如最大分片为40G。此方法解决了上述第一种方法的热点问题，但是引出了新的问题，将会产生很多10G以下的小文，严重影响HBase集群的性能。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有的HBase分片切分方法主要存在两个问题：第一种定值算法会产生热点问题，即当数据量较小的时候，数据会集中在一台服务器的一个数据分片上面，读写效率低，集群资源利用率不均衡。第二种立方算法则会产生小文件问题，按照立方算法将产生很多的小数据分片，本质上是许多小文件，在对这些小文件在进行读写查询时效率很低，影响了集群的性能。

发明内容

有鉴于此，本发明实施例提供一种分片切分的方法和装置，能够有效提升集群资源利用率，并解决了数据热点问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种分片切分的方法，包括获取当前目标表在服务器上最大分片的大小；确定最大分片的大小大于分片大小阈值，则执行对所述分片的切分；其中，所述的分片大小阈值根据当前目标表在服务器上的分片数量获得。

可选地，根据当前目标表在服务器上的分片数量，通过对数算法获得所述的分片大小阈值。

可选地，根据当前目标表在服务器上的分片数量，通过对数算法获得所述的分片大小阈值，包括：

检测当前目标表在服务器上的分片数量；

计算分片大小阈值：分片大小阈值＝ln(分片数量)*磁盘空间+分片基数；其中，磁盘空间和分片基数通过当前服务器上的配置文件获取。

可选地，还包括：当最大分片的大小小于或等于分片大小阈值时，则等待预设时间段，再获取当前目标表在服务器上最大分片的大小。

可选地，所述服务器为HBase集群中的服务器。