[发明专利]一种关系型数据库中表分段抽取系统及方法

权利要求书

1.一种关系型数据库中表分段抽取系统，其特征在于，包括：

抽取模块，用于对表进行分段抽取；

日志模块，用于根据抽取模块的分段抽取结果，生成日志信息并存储；

步长管理模块，用于提取所述日志模块中的日志信息，并根据该日志信息，生成优化步长信息并存储，所述优化步长信息供所述抽取模块对表进行后续的分段抽取，

其中，所述优化步长信息包括优化分段总数及每个分段的优化抽取行数。

2.根据权利要求1所述的关系型数据库中表分段抽取系统，其特征在于，所述抽取模块判断所述步长管理模块中是否存储有优化步长信息，若是，则根据所述优化步长信息对表进行分段构造，并根据构造的分段对表进行分段抽取；否则，根据固定步长信息对表进行分段构造，并根据构造的分段对表进行分段抽取；其中，固定步长信息包括分段总数及每个分段的抽取行数。

3.根据权利要求2所述的关系型数据库中表分段抽取系统，其特征在于，所述日志信息包括对表进行分段抽取时每个分段的开始位置、结束位置及抽取行数。

4.根据权利要求3所述的关系型数据库中表分段抽取系统，其特征在于，所述步长管理模块包括：

日志检测子模块，用于从所述日志模块中提取日志信息；

步长计算子模块，用于根据日志信息中记录的每个分段的开始位置、结束位置及抽取行数，计算出最优的分段数及每个分段的最优步长，得到优化步长信息；

存储子模块，用于存储优化步长信息。

5.根据权利要求4所述的关系型数据库中表分段抽取系统，其特征在于，所述步长计算子模块计算出每个分段的最优步长，得到优化步长信息包括：

按照每个分段的开始位置对每个分段进行升序排序；

计算每个分段的平均抽取行数m，其公式为：

m＝L/n，其中，L为每个分段的行数的合计值，n为总的分段数；

合并抽取行数低于平均抽取行数的相邻分段，并记录通过合并而得到的分段数n₁；

记录读取行数等于平均读取行数m的分段数n₂；

计算需拆分的分段数n₃，其公式为：

n₃＝n-n₁-n₂；

计算每个需拆分分段x的拆分分段数k_x，其公式为：

k_x＝L_x/L₁×n₃，其中，L_x为该需拆分分段x的抽取行数，L₁为需拆分的分段总行数合计值；

计算每个需拆分分段x拆分后的每个分段的行数L_xx：

L_xx＝L_x/k_x；

计算优化后的分段总数N，其公式为：

N＝n₁+n₂+n_x，其中，n_x为每个需拆分分段拆分后分段数的合计值；

将优化后的分段总数N及每个分段的抽取行数作为优化步长信息。

6.一种关系型数据库中表分段抽取方法，其特征在于，包括：

S1，对表进行分段抽取；

S2，根据分段抽取结果，生成日志信息并存储；

S3，提取存储的日志信息，并根据该日志信息，生成优化步长信息并存储，所述优化步长信息供所述抽取模块对表进行后续的分段抽取，

其中，所述优化步长信息包括优化分段总数及每个分段的优化抽取行数。

7.根据权利要求6所述的关系型数据库中表分段抽取方法，其特征在于，所述步骤S1包括：判断是否存储有优化步长信息，若是，则根据所述优化步长信息对表进行分段构造，并根据构造的分段对表进行分段抽取；否则，根据固定步长信息对表进行分段构造，并根据构造的分段对表进行分段抽取；其中，固定步长信息包括分段总数N及每个分段的抽取行数。