[发明专利]动态分表数据处理方法和装置

说明书

本发明公开了一种动态分表数据处理方法和装置，所述方法包括：解析动态分表策略，获取动态分表配置信息；查询数据库，获取空数据表的数量和数据表实例信息；在检验周期内，检验当前空数据表的数量是否大于或等于所述预分表数量；如果空数据表的数量小于所述预分表数量，根据配置信息中的所述创建分表策略创建数据表并获得新数据表的实例信息，以使当前空数据表的数量大于或等于所述预分表数量；和根据新的数据表的实例信息更新所述数据实体的数据表实例信息。所述装置包括解析模块、数据表实例信息获取模块、检验模块、动态数据表创建模块和更新模块。本发明有效地控制了单个数据表的尺寸，降低了数据库IO压力，提升了系统性能。

技术领域

本发明涉及数据库技术领域，具体地说，涉及一种动态分表数据处理方法和装置。

背景技术

在使用关系型数据库存储数据的大型业务系统中，随着时间的推移和业务的发展，要处理的数据通常会达到几十GB，有的业务系统甚至达到TB级别。虽然存储介质和数据处理技术也在发展，但是仍无法满足用户对系统性能的要求。

对于此类业务系统，在相同的软硬件条件(如服务器集群、固态磁盘、数据库索引等等)下，为了能够进一步提升数据库读写性能，通常需要减小单个数据库表的尺寸。在数据表逻辑设计不变的前提下，通常通过减少单个数据表的数据行数来实现该目标。

为了实现对海量业务数据进行快速地增、删、改、查，很多业务系统采取了数据归档或者数据水平拆分的技术方案。

在数据归档技术方案中，根据业务特点，将业务数据划分为生产数据和历史数据两种类型，分别使用生产数据表和历史数据表进行存储。在业务数据处理过程中，将业务上认定为不再参与生产的数据从生产数据表中删除并转存至历史数据表，保证生产数据表的尺寸最小化，从而提升生产数据表的读写性能。

尽管上述的数据归档技术方案能够提升生产数据表的读写性能，但是仍然有以下几方面的缺陷：

1.适用范围小。该技术方案要求业务数据必须可以划归为历史数据，即不再参与生产，才有可能进行归档。并非所有的业务数据都能进行如此界限分明的归类。另外，如果某时刻生产数据过多，那么此项技术对性能的提升效果不明显。

2.在业务数据处理过程中需要增加归档逻辑，因而代码侵入性较强。如果不增加归档逻辑，则需要定期手工归档，无法实现无人值守，从而增大了运维的压力。

3.历史数据表的尺寸会不断增大，对历史数据表的处理需要增加额外的业务逻辑。

关于数据水平拆分技术方案，其针对某种业务数据，预先创建固定数量的数据表和路由规则，在业务数据处理过程中，先计算业务数据符合的路由规则，然后根据规则定向到目标表进行读写。由于数据表的数量是固定的，所以无法彻底解决单个数据表中业务数据累积增长的问题。随着时间的推移，单个数据表中的数据量很有可能带来性能问题。另一个问题是：为了实现数据的均匀分布，需要针对不同的业务数据制定不同的路由规则和计算方式，导致拆分逻辑和业务逻辑无法解耦。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种动态分表数据处理方法和装置，有效地控制每个数据表的尺寸，在避免业务数据累积带来的性能问题的同时，不影响业务数据的生产逻辑。

为解决上述技术问题，根据本发明的一个方面，提供了一种动态分表数据处理方法，其中，包括以下步骤：

解析动态分表策略，获取动态分表配置信息，所述动态分表配置信息至少包括预分表数量、检验周期和创建分表策略；

查询数据库，获取对应于数据实体的空数据表的数量和数据表实例信息；

在检验周期内，检验当前空数据表的数量是否大于或等于所述预分表数量；