[发明专利]一种异构数据实时采集的方法

权利要求书

1.一种异构数据实时采集的方法，其特征在于：包括如下步骤：

步骤1：建立数个代理服务器、数个对接服务器和管理服务器，所有代理服务器均与管理服务器通过互联网通信，所有对接服务器均与管理服务器通过互联网通信，代理服务器用于连接不同的数据库，对接服务器用于连接不同的分布式存储系统；

步骤2：在每一个代理服务器中均建立一个或多个Agent组件，在每一个对接服务器中均建立一个或多个Sink组件，在管理服务器中建立MQ日志队列和配置页面；

步骤3：每一个Agent组件分别模拟一个数据库，实时获取数据库的数据变动，生成数据变动信息，并将数据变动信息解析为JSON文件；

步骤4：代理服务器将JSON文件发送给管理服务器，管理服务器接收到JSON文件后，将JSON文件存储在MQ日志队列中；

步骤5：对接服务器通过每一个Sink组件分别模拟一个分布式存储系统，Sink组件从管理服务器中的MQ日志队列中读取JSON文件，并将JSON文件实时写入分布式存储系统，对接服务器通过JSON文件实现与代理服务器之间的对接；

步骤6：管理员通过管理服务器提供的配置页面对所有代理服务器和所有对接服务器进行配置和部署，并通过配置页面对代理服务器与对接服务器之间的数据传输实施启动、停止和监控。

2.如权利要求1所述的一种异构数据实时采集的方法，其特征在于：所述对接服务器、所述对接服务和所述管理服务器之间的数据传输采用以下协议格式将多条数据封装成数据包压缩进行传输：

MagicCode+packagelength+Compresstype+Packagesize+data1length+data2length+...+dataNlength+data1+data1crc+data2+data2crc+...dataN+dataNcrc；

其中，MagicCode固定为ICKXPKG字符，标示一个数据包的开始；

packagelength是一个4字节的INT类型数据，代表着包的长度；

Compresstype为1字节数据代表着使用的压缩算法；

Packagesize代表着数据包包含数据条数；

data1length、data2length、...dataNlength表示数据包的大小，N的取值为正整数；

data1、data2、...dataN为数据的内容；

data1crc、data2crc、...dataNcrc代表每一个数据的校验位，所述校验位为4位。

3.如权利要求1所述的一种异构数据实时采集的方法，其特征在于：在执行步骤3时，所述数据库的数据变动为数据库中格式为二进制的数据的变动。

4.如权利要求1所述的一种异构数据实时采集的方法，其特征在于：在执行步骤6时，管理员通过所述配置页面输入配置信息，管理服务器根据配置信息生成配置文件，并将配置文件发送给配置文件中指定的代理服务器或对接服务器。