[发明专利]一种关系型数据库中表分段抽取系统及方法

说明书

本发明提供了一种关系型数据库中表分段抽取系统及方法，系统包括抽取模块、日志模块及步长管理模块；抽取模块根据步长管理模块中的优化步长信息对表进行分段构造，并根据构造的分段对表进行分段抽取，并将分段抽取结果记录在日志模块，形成日志信息，步长管理模块根据日志信息动态地生成优化步长信息。本发明通过将低于平均抽取行数的分段进行合并，将高于平均抽取行数的分段进行拆分，智能地优化各个分段的数据行数，使各个分段的数据趋于均匀，从而提升读取关系型数据表时效率和性能。

技术领域

本发明属于大数据分布式计算领域，尤其涉及一种关系型数据库中表分段抽取系统及方法。

背景技术

随着大数据领域的技术越来越成熟，很多公司都会引入一项或者多项大数据的技术给公司的某项业务或者某些领域带来新的发展，比如根据用户信息分析挖掘出用户行为热点，提供给公司的决策层，调整产品，吻合用户需求。大数据技术固然不错，但是前提是需要有数据，有数据后才可谈使用哪些技术。在国内甚至全世界的大部分公司的数据都存储在传统的关系型数据库中，比如MySQL、Oracle、SQL Server等，但是传统的关系型数据库不能胜任海量数据下的分析统计工作，分布式的大数据存储和计算框架却很适合，图1所示为现有技术中利用HADOOP和Hive架构实现海量数据统计分析的示意图。在数据抽取阶段的工作一般是利用JDBC与数据库进行通信，使用ETL工具将数据抽取并导入到HADOOP的HDFS中。用户可以向Hive提交SQL，Hive会启动一些系列的MAPREDUCE程序并读取HDFS中的数据进行查询分析。

HADOOP具有非常好的扩展性和容错性，这也使得公司在应付海量数据时可以从容的面对，不需要担心数据会容纳不了和丢失。因此会将一些历史数据或者访问量很低的数据从关系型数据库转移到HDFS中，利用类似于HIVE这一类的技术对其进行分析统计和做数据挖掘。

在目前大数据领域中还有一些技术可以直接的连接关系型数据库进行查询分析，不需要将数据转移到HDFS，比如Presto就可以配置关系型数据库的数据源。

当前数据增长越来越迅速，对数据的分析统计时效性要求也越来越高，如何能快速从关系型数据库中把数据抽取出来，成为了越来越多的公司考虑的问题。一般来说从关系型数据库中抽取数据有两种方式：

1、全表单线程抽取。

2、对表进行分段抽取，并且可以设置并发量。

对于全表单线程抽取，速度明显是难以保证的，时间容易拖长；分段抽取的策略处理的方式按照固定的偏移量对表进行分段处理，这种方式容易造成数据倾斜，因为在实际业务中，数据是不连续的，容易造成数据空洞或者是集中，这种情况下分段出来的数据，可能有一段或者几段的数据量很大，其余的很小。

发明内容

(一)要解决的技术问题

本发明的目的在于，提供一种关系型数据库中表分段抽取系统及方法，提升读取关系型数据表时效率和性能。

(二)技术方案

本发明提供一种关系型数据库中表分段抽取系统，包括：

抽取模块，用于对表进行分段抽取；

日志模块，用于根据抽取模块的分段抽取结果，生成日志信息并存储；

步长管理模块，用于提取日志模块中的日志信息，并根据该日志信息，生成优化步长信息并存储。

本发明还一种关系型数据库中表分段抽取方法，包括：

S1，对表进行分段抽取；

S2，根据分段抽取结果，生成日志信息并存储；

S3，提取存储的日志信息，并根据该日志信息，生成优化步长信息并存储。

(三)有益效果