[发明专利]一种基于MySQL的流式实时数据同步系统

说明书

本发明公开一种基于MySQL的流式实时数据同步系统，涉及数据通信技术领域；Mysql利用binlog实时记录数据更新，Maxwell工具解析MySQL binlog的实时数据，同步实时数据到Kafka中，Kafka利用KafkaConntor将实时数据同步到ElasticSearch中，Elasticsearch对实时数据进行数据分析和监控；本发明系统通过MySQL的Binlog实时同步数据变化，避免对数据库的侵入操作，通过引入Kafka，解耦并提高了系统扩展性，使大并发成为可能，通过elasticsearch，可以实时的实现数据分析，监控，告警等功能。

技术领域

本发明公开一种基于MySQL的流式实时数据同步系统，涉及数据通信技术领域。

背景技术

数据分析特别是实时数据分析，已经越来越多的成为各行各业的分析要求与标准。例如零售行业可能希望通过线下POS数据与实时门店客流流量的进行实时结合与分析，实现商品销售，销量，总类等等的实时预测；在线广告平台期望通过广告(Impression)总类，数据量以及基于时间的点击(Click)量，计算实时的广告转化率(Conversion Rate)；物联网的用户想通过实时分析线下的状态设备与设备采集的数据，进行后台的计算与预判等等。

纵观这些业务系统，从数据流的角度看，数据架构可以分为前后端两个部分。前端为业务数据与日志收集系统，其中业务数据系统一般都是利用关系型数据库实现，例如MySQL，PostgreSQL，后端为数据分析与处理系统，例如ElasticSearch搜索引擎，Redshift数据仓库，基于S3的Hadoop系统等等，或者基于Spark Stream的实时分析后端。

实时数据分析的首要条件是实现实时数据同步，即从上述前端系统到后端系统的数据同步。具体来讲主要包含两个要求1)实时，2)异构数据源的增量同步。实时的要求是前后端系统的实时数据ETL的过程，需要根据业务需求，越快越好。异构数据源的增量同步是指，前端产生的增量数据可以无缝的同步到后端的数据系统。针对MySQL，MySQL的表结构的存储不能简单的通过复制操作实现数据同步，现有做法是通过应用程序双写的架构，利用应用逻辑实现，但是要保证数据一致性相对复杂，而且架构扩展相对比较困难。而本发明提供一种基于MySQL的流式实时数据同步系统，通过MySQL的Binlog实时同步数据变化，避免了对数据库的侵入操作，通过引入Kafka，解耦并提高了系统扩展性，使大并发成为可能，利用elasticsearch可以实时的实现数据分析，监控，告警等功能。

发明内容

本发明针对现有技术的问题，提供一种基于MySQL的流式实时数据同步系统，具有通用性强、实施简便等特点，具有广阔的应用前景。

本发明提出的具体方案是：

一种基于MySQL的流式实时数据同步系统，包括Mysql、Maxwell工具、Kafka及Elasticsearch，

Mysql利用binlog实时记录数据更新，

Maxwell工具解析MySQL binlog的实时数据，同步实时数据到Kafka中，Kafka利用KafkaConntor将实时数据同步到ElasticSearch中，Elasticsearch对实时数据进行数据分析和监控。

所述的系统中binlog使用Row格式进行数据更新，实时的反映行级别的数据变化。

所述的系统中利用Maxwell工具佯装为MySQL Slave，抽取出Binlog的日志文件，并把实时数据变化注入到实时流式数据管道中，在实时流式数据管道后端对变化的Binlog的日志文件，进行消费与数据处理，同步到Kafka中。

所述的系统中KafkaConntor利用standalone模式或distributed模式实现Kafka内的数据实时同步到ElasticSearch中。