[发明专利]一种异构数据实时采集的方法

摘要

本发明公开了一种异构数据实时采集的方法，属于大数据技术领域，包括建立数个代理服务器、数个对接服务器和管理服务器，在每一个代理服务器中均建立一个或多个Agent组件，在每一个对接服务器中均建立一个或多个Sink组件，在管理服务器中建立MQ日志队列和配置页面，解决了数据采集不及时以及采集时间点集中影响业务系统的技术问题，本发明将对不同数据源的实时采集,底层采用不同的技术,但是在上层是统一的管理和操作方法，通过实时分析数据库日志来采集数据的方式，本发明为了解决传输性能和可靠采用的数据封包协议。

主权项

1.一种异构数据实时采集的方法，其特征在于：包括如下步骤：步骤1：建立数个代理服务器、数个对接服务器和管理服务器，所有代理服务器均与管理服务器通过互联网通信，所有对接服务器均与管理服务器通过互联网通信，代理服务器用于连接不同的数据库，对接服务器用于连接不同的分布式存储系统；步骤2：在每一个代理服务器中均建立一个或多个Agent组件，在每一个对接服务器中均建立一个或多个Sink组件，在管理服务器中建立MQ日志队列和配置页面；步骤3：每一个Agent组件分别模拟一个数据库，实时获取数据库的数据变动，生成数据变动信息，并将数据变动信息解析为JSON文件；步骤4：代理服务器将JSON文件发送给管理服务器，管理服务器接收到JSON文件后，将JSON文件存储在MQ日志队列中；步骤5：对接服务器通过每一个Sink组件分别模拟一个分布式存储系统，Sink组件从管理服务器中的MQ日志队列中读取JSON文件，并将JSON文件实时写入分布式存储系统，对接服务器通过JSON文件实现与代理服务器之间的对接；步骤6：管理员通过管理服务器提供的配置页面对所有代理服务器和所有对接服务器进行配置和部署，并通过配置页面对代理服务器与对接服务器之间的数据传输实施启动、停止和监控。