[发明专利]一种异构数据实时采集的方法

说明书

本发明公开了一种异构数据实时采集的方法，属于大数据技术领域，包括建立数个代理服务器、数个对接服务器和管理服务器，在每一个代理服务器中均建立一个或多个Agent组件，在每一个对接服务器中均建立一个或多个Sink组件，在管理服务器中建立MQ日志队列和配置页面，解决了数据采集不及时以及采集时间点集中影响业务系统的技术问题，本发明将对不同数据源的实时采集,底层采用不同的技术,但是在上层是统一的管理和操作方法，通过实时分析数据库日志来采集数据的方式，本发明为了解决传输性能和可靠采用的数据封包协议。

技术领域

本发明属于大数据技术领域，尤其涉及一种异构数据实时采集的方法。

背景技术

大数据时代，企业数据越来越多，许多企业都建立了数据仓库并且由于时效性业务，建立了实时计算的平台.数据仓库和实时计算的建立依赖于数据采集。一般的数据采集的技术方案是T+1的批量作业，然而T+1的批量作业采集方式,由于是定时执行任务会存在以下问题：

1、采集时间不及时,不能够积极的响应实时业务需求；

2、采集时间点集中对数据库和业务系统造成很压力过大；

3、不同数据源采集工具技术不一致,带来管理成本很大。

发明内容

本发明的目的是提供一种异构数据实时采集的方法，解决了数据采集不及时以及采集时间点集中影响业务系统的技术问题。

为实现上述目的，本发明采用如下技术方案：

一种异构数据实时采集的方法，包括如下步骤：

步骤1：建立数个代理服务器、数个对接服务器和管理服务器，所有代理服务器均与管理服务器通过互联网通信，所有对接服务器均与管理服务器通过互联网通信，代理服务器用于连接不同的数据库，对接服务器用于连接不同的分布式存储系统；

步骤2：在每一个代理服务器中均建立一个或多个Agent组件，在每一个对接服务器中均建立一个或多个Sink组件，在管理服务器中建立MQ日志队列和配置页面；

步骤3：每一个Agent组件分别模拟一个数据库，实时获取数据库的数据变动，生成数据变动信息，并将数据变动信息解析为JSON文件；

步骤4：代理服务器将JSON文件发送给管理服务器，管理服务器接收到JSON文件后，将JSON文件存储在MQ日志队列中；

步骤5：对接服务器通过每一个Sink组件分别模拟一个分布式存储系统，Sink组件从管理服务器中的MQ日志队列中读取JSON文件，并将JSON文件实时写入分布式存储系统，对接服务器通过JSON文件实现与代理服务器之间的对接；

步骤6：管理员通过管理服务器提供的配置页面对所有代理服务器和所有对接服务器进行配置和部署，并通过配置页面对代理服务器与对接服务器之间的数据传输实施启动、停止和监控。

优选的，所述对接服务器、所述对接服务和所述管理服务器之间的数据传输采用以下协议格式将多条数据封装成数据包压缩进行传输：

MagicCode+packagelength+Compresstype+Packagesize+data1length+data2length+...+dataNlength+data1+data1crc+data2+data2crc+...dataN+dataNcrc；

其中，MagicCode固定为ICKXPKG字符，标示一个数据包的开始；

packagelength是一个4字节的INT类型数据，代表着包的长度；

Compresstype为1字节数据代表着使用的压缩算法；

Packagesize代表着数据包包含数据条数；