[发明专利]面向kafka的数据传输方法、系统、计算机设备及存储介质

说明书

本申请属于大数据技术领域，涉及面向kafka的数据传输方法、系统、计算机设备及存储介质，所述方法包括:使WEB服务器接收数据传输请求并发送至任意服务节点；使基于数据传输请求生成消费任务，并发送任务信息至分布式服务端；监测到路径下的任务信息时，基于任务信息和工作节点对消费任务进行拆分，得到多个子消费任务并发送至分布式服务端；监测到存入子消费任务的任务信息时，启动线程从kafka中数据消费传输至数据接收端。本申请还涉及区块链技术，被确定为私密的消费数据可存储于区块链中。本申请可以实现传输的快速配置，简单高效，增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率。

技术领域

本申请涉及大数据技术领域，尤其涉及面向kafka的数据传输方法、系统、计算机设备及存储介质。

背景技术

现有技术中将kafka消息实时传输到其他系统时可以基于Spark或者Flink定制化开发消费程序。基于Spark和Flink的消费程序需要依赖大数据集群并且需要定制化开发，新增Topic消费的时候，需要停止原本的应用，修改消费程序代码后重新发布，或者再增加一个APP任务单独处理新增的Topic，且Flume配置数据消费任务时需要通过启动Shell命令的方式进行，配置过程复杂，需要专业人员才能实现，通用性差。

发明内容

本申请实施例的目的在于提出一种面向kafka的数据传输方法、系统、计算机设备及存储介质，以解决现有技术中新增Topic消费的时需中止当前任务导致效率低，以及配置消费数据任务的过程复杂、通用性差的问题。

为了解决上述技术问题，本申请实施例提供一种面向kafka的数据传输方法，采用了如下所述的技术方案：

一种面向kafka的数据传输方法，包括下述步骤：

使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；

使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；

使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；

使作为工作节点的服务节点监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。

为了解决上述技术问题，本申请实施例还提供一种面向kafka的数据传输系统，采用了如下所述的技术方案：

一种面向kafka的数据传输系统，包括基于无线或有线通信依次连接的WEB服务器、数据处理服务端和分布式服务端；所述数据处理服务端包括至少一个服务节点，且存在一个服务节点为控制节点，并至少存在一个服务节点为工作节点；

其中，所述WEB服务器，用于接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至所述数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；

所述分布式服务端，用于管理所述数据处理服务端的服务节点；

所述数据处理服务端中接收所述数据传输请求的服务节点，用于基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下；