[发明专利]一种基于数据库分库分表的生产数据进行测试的方法

权利要求书

1.一种基于数据库分库分表的生产数据进行测试的方法，其特征在于，包括以下步骤：步骤1：设计数据库分库分表用户数据保存方法；步骤2：生产数据库抽样；步骤3：基于数据进行业务测试验证；

其中，步骤1的具体方法如下：

1.1预先确定需要将生产用户数据均匀存储到多少台数据库机器上，将数据库机器的台数设置为取模系数；

1.2对每一个用户ID, 生成一条唯一用户ID索引；并随机生成一条N位长度的数据库分库分表索性；将该用户的唯一用户ID索引及分库分表索引一起组成一条用户的标识记录，并按照步骤1.3保存到特定的数据库分片上；

1.3对数据库分库分表索性进行取模，取模数为步骤1.1设置的取模系数，根据取模余数，确定用户数据分布应该分配到哪个数据库分片上；

步骤2的具体方法如下：

2.1了解生产数据库的数据量大小，并按照统计概率理论算出置信率为M% 的抽样数据量大小，根据实际的测试需要的数据量大小确定对几片数据库进行数据抽样；

2.2确定数据库分库分表取模系数，确定每一分片数据库的取模余数，确定数据库抽样的取模倍数因子；

2.3通过取模系数与抽样的取模倍数因子相乘，获得抽取取模系数；

2.4对确定需要抽样的分片数据库里的数据表进行抽样，对每一张表里面的每条数据的分库分表索引以抽取取模系数为系数进行取模，将余数等于分片数据库的取模余数的数据取出并导出为一个抽样分片数据库；

步骤3的具体步骤如下：将生产上脱敏的分片数据库数据导入测试环境对应的数据库分片上；对测试环境的其它未进行抽样的数据库分片，在保障数据库的表结构和生产一致的情况下，清空所有表数据。

2.根据权利要求1所述的一种基于数据库分库分表的生产数据进行测试的方法，其特征在于，步骤1还包括以下步骤：

1.4用户产生的其它业务数据，通过查询用户的唯一用户ID索引，获得该用户的分库分表索引，并再次依据步骤1.3来计算出用户其它业务数据应该存储到哪个数据库分片上；计算获得用户其它业务数据应该存储到哪个数据库分片上后，将该用户的其它业务数据与用户的分库分表索引一起作为一条记录，保存到计算出的数据库中。

3.根据权利要求2所述的一种基于数据库分库分表的生产数据进行测试的方法，其特征在于，步骤2还包括以下步骤：

2.5对抽样数据库的数据进行脱敏操作，将数据库的涉及用户隐私的信息进行信息脱敏，最后存储为分片脱敏数据库。

4.根据权利要求2所述的一种基于数据库分库分表的生产数据进行测试的方法，其特征在于，步骤2.1所述的置信率为M%取值区间为95%到99%。