[发明专利]一种基于Mysql分库分表的实时采集方法

说明书

本发明属于计算机技术领域，尤其涉及一种基于Mysql分库分表的实时采集方法，通过配置化的方式来支持实时采集分库分表数据，通过建立配置信息，填写需采集的数据库IP地址，端口、数据库名和表名，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；对于同一张表的分库分表，采集后进行汇总输出，在服务器上通过Shell脚本，启动程序；打印配置表中的信息，对分库分表配置信息；通过Shell脚本遍历出来和程序输出日志中采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于Mysql分库分表的实时采集方法。

背景技术

在大数据实时计算方向，数据集成是开始实时计算第一步，在企业中，由于数据量很多，导致数据存储在单库单表存在一定的查询压力；因此，企业一般都采用将同一份数据分开存储和不同库和表，在查询时，将用户路由到指定的库和表，以减轻查询的压力。这对于实时数据采集而言，也需要适应该类分库分表的方法，因此有必要提供一种基于Mysql分库分表的实时采集方法来匹配该类库分表方法。

发明内容

本发明提供了一种基于Mysql分库分表的实时采集方法，提供了一种通过配置化的方式来支持实时采集分库分表数据的方法。

为实现上述目的，本发明提供如下技术方案：

一种基于Mysql分库分表的实施采集方法，包括以下步骤：

步骤1：建立配置信息，填写需要采集的数据库IP地址，端口和数据库名，表名；

步骤2：配置表支持分IP，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；

步骤3：通过监听数据的Binlog日志，实时解析Binlog日志；获取数据库中建表语句的Schema信息，每个字段的数据类型信息存储起来，不同数据类型进入到不同的解析方法类；最后对于同一张表的分库分表，采集后进行汇总输出，同时通过在采集时根据Binlog日志的时间戳，保证数据的严格有序性；

步骤4：在服务器上通过Shell脚本，启动程序；打印配置表中配置的表信息，对分库分表配置信息；通过Shell脚本遍历出来，和程序输出日志中成功采集的表信息进行对比，打印出未成功采集的表名和采集异常的表名。

与现有技术相比本发明的有益效果是：1.本发明配置的采集分库分表数据，同时采集后，能将数据进行统一汇总输出。

2.通过在采集时根据Binlog日志的时间戳，保证数据的严格有序性。

3.不同数据类型进入到不同的解析方法类，从而达到针对性解析的目的。

附图说明

图1为本发明的系统流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1本发明的一种基于Mysql分库分表的实施采集方法，包括以下步骤：

步骤1：建立配置信息，填写需要采集的数据库IP地址，端口和数据库名，表名；

步骤2：配置表支持分IP，分端口，分库，分表采集；采集程序对与每一个实例通过连接池的方式建立连接；