[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、设备及存储介质，应用于计算机应用技术领域，通过流处理框架Flink，读取传统数据存储系统中的存量数据，存量数据包括当前时刻传统数据存储系统中已经存在的数据；将存量数据写入大数据存储组件；获取传统数据存储系统中的增量数据；将增量数据发送至消息系统Kafka；通过Flink，将Kafka中的数据写入大数据存储组件。如此，可以将传统数据存储系统中的存量数据同步至大数据存储组件，并针对传统数据存储系统中数据的变化，将传统数据存储系统中的增量数据同步至大数据存储组件，能够实现将传统数据存储系统中的同步至大数据存储平台。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据处理方法、装置、设备及存储介质。

背景技术

随着大数据时代的到来，传统的数据存储和分析工具(典型代表MySQL技术体系)已经很难满足企业分析业务需求了。但是，传统的数据存储和分析工具也有着大数据领域工具不具备的特性，比如，使用范围的广泛性，保持数据的一致性(事务处理)，数据更新高效性等等。因此，为了满足分析业务需求，一般都需要传统数据存储系统和大数据存储平台两者的结合。但是这两种模式下的数据天然的存在着割裂的情况，故如何将传统数据存储系统中的同步至大数据存储平台，是传统数据存储系统和大数据存储平台结合的重要内容也是难点内容。

发明内容

本发明实施例的目的在于提供一种数据处理方法、装置、设备及存储介质，以实现将传统数据存储系统中的同步至大数据存储平台。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种数据处理方法，包括：

通过流处理框架Flink，读取传统数据存储系统中的存量数据，所述存量数据包括当前时刻所述传统数据存储系统中已经存在的数据；

将所述存量数据写入大数据存储组件，所述大数据存储组件为大数据存储平台中的存储组件；

获取所述传统数据存储系统中的增量数据，所述增量数据为针对所述存量数据发生变化的数据；

将所述增量数据发送至消息系统Kafka；

通过Flink，将Kafka中的数据写入所述大数据存储组件。

可选的，所述传统数据存储系统为关系型数据库管理系统MySQL；所述大数据存储组件为分布式文件系统中的大数据存储介质Hive。

可选的，所述获取所述传统数据存储系统中的增量数据，包括：

采集所述传统数据存储系统中的二进制日志Binary Log，所述Binary Log用于记录数据库MySQL的变化情况；

解析所述Binary Log得到所述增量数据。

可选的，所述采集所述传统数据存储系统中的二进制日志Binary Log，包括：

通过基于MySQL二进制的高性能数据同步系统Canal，向MySQL Master服务器发送dump请求，以使所述MySQL Master收到所述dump请求后，向所述Canal推送所述BinaryLog；

所述解析所述Binary Log得到所述增量数据，包括：

解析所述Binary Log，得到FlatMessage格式的数据。

可选的，所述通过流处理框架Flink，读取传统数据存储系统中的存量数据，包括：

通过Flink的MySQL Connector组件连接所述MySQL；

读取所述MySQL中的存量数据；

所述通过Flink，将Kafka中的数据写入所述大数据存储组件，包括：