[发明专利]一种数据处理方法、装置、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

通过流处理框架Flink，读取传统数据存储系统中的存量数据，所述存量数据包括当前时刻所述传统数据存储系统中已经存在的数据；

将所述存量数据写入大数据存储组件，所述大数据存储组件为大数据存储平台中的存储组件；

获取所述传统数据存储系统中的增量数据，所述增量数据为针对所述存量数据发生变化的数据；

将所述增量数据发送至消息系统Kafka；

通过Flink，将Kafka中的数据写入所述大数据存储组件。

2.根据权利要求1所述的方法，其特征在于，所述传统数据存储系统为关系型数据库管理系统MySQL；所述大数据存储组件为分布式文件系统中的大数据存储介质Hive。

3.根据权利要求2所述的方法，其特征在于，所述获取所述传统数据存储系统中的增量数据，包括：

采集所述传统数据存储系统中的二进制日志Binary Log，所述Binary Log用于记录数据库MySQL的变化情况；

解析所述Binary Log得到所述增量数据。

4.根据权利要求3所述的方法，其特征在于，所述采集所述传统数据存储系统中的二进制日志Binary Log，包括：

通过基于MySQL二进制的高性能数据同步系统Canal，向MySQL Master服务器发送dump请求，以使所述MySQL Master收到所述dump请求后，向所述Canal推送所述Binary Log；

所述解析所述Binary Log得到所述增量数据，包括：

解析所述Binary Log，得到FlatMessage格式的数据。

5.根据权利要求2所述的方法，其特征在于，所述通过流处理框架Flink，读取传统数据存储系统中的存量数据，包括：

通过Flink的MySQL Connector组件连接所述MySQL；

读取所述MySQL中的存量数据；

所述通过Flink，将Kafka中的数据写入所述大数据存储组件，包括：

通过Flink的Kafka Connector组件连接所述Kafka；

读取所述Kafka中的数据；

将读取的所述Kafka中的数据写入Hive中。

6.根据权利要求5所述的方法，其特征在于，所述读取所述MySQL中的存量数据，包括：

获取第一配置信息，所述第一配置信息用于配置数据过滤规则；

通过Flink，结合所述第一配置信息，读取所述MySQL中满足所述第一配置信息的存量数据；

所述读取所述Kafka中的数据，包括：

获取第二配置信息，所述第二配置信息用于配置数据过滤规则；

通过Flink，结合所述第二配置信息，读取所述Kafka中满足所述第二配置信息的数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，在所述通过Flink，将Kafka中的数据写入所述大数据存储组件之后，所述方法还包括：

通过预设分析算法，针对写入所述大数据存储组件中的所述存量数据和所述增量数据进行分析。

8.一种数据处理装置，其特征在于，包括：

读取模块，用于通过流处理框架Flink，读取传统数据存储系统中的存量数据，所述存量数据包括当前时刻所述传统数据存储系统中已经存在的数据；

第一写入模块，用于将所述存量数据写入大数据存储组件，所述大数据存储组件为大数据存储平台中的存储组件；

获取模块，用于获取所述传统数据存储系统中的增量数据，所述增量数据为针对所述存量数据发生变化的数据；

发送模块，用于将所述增量数据发送至消息系统Kafka；

第二写入模块，用于通过Flink，将Kafka中的数据写入所述大数据存储组件。