[发明专利]一种进行数据分区的方法和装置

说明书

本发明公开了一种进行数据分区的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：步骤S101、获取每个数据分区的大小；步骤S102、判断是否存在需要进行分割的数据分区；步骤S103、当存在需要进行分割的数据分区时，根据预定义的分区字段对需要进行分割的待分割数据分区执行分区操作以得到多个新数据分区；步骤S104、重复执行步骤S101至步骤S103，直至步骤S102判定不存在需要进行分割的数据分区。该实施方式解决了人工操作引起的错误率高、资源浪费和效率低下的问题，并且可以记录每次分区操作的详细信息，为后续查找数据分区情况提供依据，便于系统管理。

技术领域

本发明涉及计算机技术领域，尤其涉及一种进行数据分区的方法和装置。

背景技术

当数据量很大，而且经常按照某个字段进行条件过滤或者分组时，可以考虑对数据进行分区，例如某种商品的销售情况，经常要查看某个月、某个季度的销售明细或者总计，则可以根据销售日期进行分区，每个月分为一个区，而且最好是能够把不同区的数据分别存放在不同的物理硬盘上，这样在进行查询的时候，可以直接在特定硬盘查询，数据量小，速度快，如果查询所有月份的数据，多块硬盘可以并行查询，速度也会明显提高。

数据库分区是一种物理数据库设计技术，虽然分区技术可以实现很多效果，例如性能的提升、管理的简化等，但其主要目的是为了在特定的数据库操作中减少数据读写的总量以缩减响应时间，提高数据查询的效率。

目前，常用的进行数据库分区的过程主要包括：

1、通过查询数据，经验判断是否需要分区，例如：当数据查询的响应时间超过一定的阈值时，可根据经验判断该分区的数据量过大；

2、通过业务知识，设置分区标识，以用于根据该分区标识进行分区；

3、根据不同的数据库类型，通过其对应的数据库语言中的分区指令，执行创建分区。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1、现有技术需要人工干预和经验判断，当遇到已经分区，但是某一分区还是太大的情形，需要人工再次进行分区；

2、具体操作过程中要结合业务知识人工设置分区标识；

3、后续查找分区记录和操作指南时需要人工进行整理。

综上，现有技术人工干预过多，出错概率大，资源浪费且效率低下；且没有成文的标准和执行记录，不利于系统管理。

发明内容

有鉴于此，本发明实施例提供一种进行数据分区的方法和装置，能够解决人工操作引起的错误率高、资源浪费和效率低下的问题，并且可以记录每次分区操作的详细信息，为后续查找数据分区情况提供依据，便于系统管理。

为实现上述目的，根据本发明实施例的一个方面，提供了一种进行数据分区的方法。

一种进行数据分区的方法，包括：步骤S101、获取每个数据分区的大小；步骤S102、判断是否存在需要进行分割的数据分区；步骤S103、当存在需要进行分割的数据分区时，根据预定义的分区字段对所述需要进行分割的待分割数据分区执行分区操作，以得到多个新数据分区，所述新数据分区的数据存放路径包括所述待分割数据分区的数据存放路径和所述新数据分区的分区标识，所述分区标识根据所述分区字段生成；步骤S104、重复执行步骤S101至步骤S103，直至步骤S102判定不存在所述需要进行分割的数据分区。

可选地，所述步骤S102包括：根据所述数据分区的大小是否超过预定的阈值来判断是否存在所述需要进行分割的数据分区；若存在某数据分区，且所述某数据分区的大小超过所述预定的阈值，则判定存在所述需要进行分割的数据分区；否则，判定不存在所述需要进行分割的数据分区。