[发明专利]一种基于kafka智能加载离线SQL表数据的方法

说明书

本发明提供一种基于kafka智能加载离线SQL表数据的方法：第一离线数据识别模块自动识别待加载离线SQL源数据信息，并根据待加载离线SQL源数据信息生成源数据配置文件；源数据连接器根据源数据配置文件为离线SQL源数据配置上游通道，并通过配置的上游通道将离线SQL源数据打包成kafka文件，同时将kafka文件发送到kafka平台；目标数据连接器从kafka平台获取kafka文件，并根据上游通道为kafka文件配置下游通道，再通过配置的下游通道将kafak文件还原成离线SQL源数据，同时将还原的离线SQL源数据发送到分布式文件存储系统；目标数据库从分布式文件存储系统加载离线SQL源数据。

技术领域

本发明属于数据迁移技术领域，具体涉及一种基于kafka智能加载离线SQL表数据的方法。

背景技术

离线SQL数据大致可以分为两类，一类为已导出数据，以csv或avro存储的离线文件，一类为区别于实时数据的离线数据。针对这两种数据的加载，传统方法常采用flume或logstash或ETL采集数据到目标存储地。源数据到目标存储系统需经过多个组件服务到达目的地，组件之间数据兼容性、可靠性难以保证，且工作流设计复杂且笨重。在发生数据丢失或脏数据时，诊断问题也变得困难。另外在一些场景如大量的源系统和目标系统时，使用传统方法进行数据加载比较复杂，且延迟性是不可估量的。

此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于kafka智能加载离线SQL表数据的方法，是非常有必要的。

发明内容

针对现有技术的上述传统离线SQL数据加载工作不可靠，流程复杂，且延迟性大的缺陷，本发明提供一种基于kafka智能加载离线SQL表数据的方法，以解决上述技术问题。

本发明提供一种基于kafka智能加载离线SQL表数据的方法，包括如下步骤：

S1.第一离线数据识别模块自动识别待加载离线SQL源数据信息，并根据待加载离线SQL源数据信息生成源数据配置文件；

S2.源数据连接器根据源数据配置文件为离线SQL源数据配置相应的上游通道，并通过配置的上游通道将离线SQL源数据打包成kafka文件，同时将kafka文件发送到kafka平台；

S3.目标数据连接器从kafka平台获取kafka文件，并根据上游通道为kafka文件配置相应的下游通道，再通过配置的下游通道将kafak文件还原成离线SQL源数据，同时将还原的离线SQL源数据发送到分布式文件存储系统；

S4.目标数据库从分布式文件存储系统加载离线SQL源数据，离线数据加载完成。

进一步地，步骤S4之前还包括如下步骤：

S4A.第二离线数据识别模块自动从分布式文件存储系统识别还原的离线SQL源数据信息，并根据还原的离线SQL源数据信息生成还原数据配置文件；

S4B.验证源数据配置文件与还原数据配置文件的一致性。在数据加载完毕后，增加了数据信息一致性校验，以实现离线SQL源数据智能批量加载的同时，实现可靠性、便利性和容错性。

进一步地，步骤S4B具体步骤如下:

S4B1.通过MD5算法对源数据配置文件进行加密；

S4B2.通过MD5算法对还原数据配置文件进行加密；

S4B3.通过验证源数据配置文件的MD5文件与还原数据配置文件的MD5文件是否一致，判断源数据配置文件与还原数据配置文件是否一致。

进一步地，步骤S1中的SQL源数据信息包括SQL源数据对应类型的存储格式、SQL源数据的加载优先级以及数据量；

所述SQL源数据的存储格式包括CSV格式离线数据、Avro格式离线数据以及dat格式离线数据。