[发明专利]一种基于kafka智能加载离线SQL表数据的方法

权利要求书

1.一种基于kafka智能加载离线SQL表数据的方法，其特征在于，包括如下步骤：

S1.第一离线数据识别模块自动识别待加载离线SQL源数据信息，并根据待加载离线SQL源数据信息生成源数据配置文件；

S2.源数据连接器根据源数据配置文件为离线SQL源数据配置相应的上游通道，并通过配置的上游通道将离线SQL源数据打包成kafka文件，同时将kafka文件发送到kafka平台；

S3.目标数据连接器从kafka平台获取kafka文件，并根据上游通道为kafka文件配置相应的下游通道，再通过配置的下游通道将kafak文件还原成离线SQL源数据，同时将还原的离线SQL源数据发送到分布式文件存储系统；

S4.目标数据库从分布式文件存储系统加载离线SQL源数据，离线数据加载完成。

2.如权利要求1所述的基于kafka智能加载离线SQL表数据的方法，其特征在于，步骤S4之前还包括如下步骤：

S4A.第二离线数据识别模块自动从分布式文件存储系统识别还原的离线SQL源数据信息，并根据还原的离线SQL源数据信息生成还原数据配置文件；

S4B.验证源数据配置文件与还原数据配置文件的一致性。

3.如权利要求2所述的基于kafka智能加载离线SQL表数据的方法，其特征在于，步骤S4B具体步骤如下:

S4B1.通过MD5算法对源数据配置文件进行加密；

S4B2.通过MD5算法对还原数据配置文件进行加密；

S4B3.通过验证源数据配置文件的MD5文件与还原数据配置文件的MD5文件是否一致，判断源数据配置文件与还原数据配置文件是否一致。

4.如权利要求1所述的基于kafka智能加载离线SQL表数据的方法，其特征在于，步骤S1中的SQL源数据信息包括SQL源数据对应类型的存储格式、SQL源数据的加载优先级以及数据量；

所述SQL源数据的存储格式包括CSV格式离线数据、Avro格式离线数据以及dat格式离线数据。

5.如权利要求4所述的基于kafka智能加载离线SQL表数据的方法，其特征在于，步骤S2具体步骤如下：

S21.源数据连接器获取源数据配置文件；

S22.源数据连接器根据源数据配置文件中SQL源数据对应类型的存储格式，为离线SQL源数据配置上游通道的连接器和转换器；

S23.源数据连接器通过配置的上游通道的转换器将离线SQL源数据打包成kafka文件；

S24.源数据连接器将kafka文件通过上游通道的连接器发送到kafka平台。

6.如权利要求5所述的基于kafka智能加载离线SQL表数据的方法，其特征在于，步骤S24具体步骤如下：

S241.源数据连接器判断离线SQL源数据的存储格式类型是否相同；

若相同，进入步骤S243；

若不同，进入步骤S242；

S242.源数据连接器将不同类型的存储格式的离线SQL源数据对应的kafka文件通过各自的上游通道的连接器以流的方式发送到kafka平台；

S243.源数据连接器将相同类型的存储格式的离线SQL源数据对应的kafka文件通过同一个连接器按照加载优先级顺序以流的方式发送到kafka平台。

7.如权利要求6所述的基于kafka智能加载离线SQL表数据的方法，其特征在于，步骤S3具体步骤如下：

S31.目标数据连接器从kafka平台获取kafka文件；

S32.目标数据连接器根据上游通道的转换器将kafka文件还原成SQL源数据，并根据还原的SQL源数据对应类型的存储格式为其配置下游通道的连接器；

S33.目标数据连接器通过下游通道将还原的SQL源数据发送到分布式文件存储系统。