[发明专利]面向kafka的数据传输方法、系统、计算机设备及存储介质

权利要求书

1.一种面向kafka的数据传输方法，其特征在于，包括下述步骤：

使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；

使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；

使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；

使作为工作节点的服务节点监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。

2.根据权利要求1所述的面向kafka的数据传输方法，其特征在于，所述数据传输请求还包括通过所述WEB界面实时配置的数据处理配置信息，在所述将消费数据传输至所述数据接收端之前，所述方法还包括：根据所述数据处理配置信息对消费的数据执行目标操作，以得到目标数据；所述目标数据为最终传输至所述数据接收端的消费数据。

3.根据权利要求2所述的面向kafka的数据传输方法，其特征在于，在所述将所述数据传输请求发送至数据处理服务端的任意一个服务节点之前，所述方法包括：

在数据处理服务端启动至少一个服务节点，并将启动的服务节点在所述分布式服务端中进行注册，其中，当启动的服务节点数量为一个时，所述分布式服务端将该服务节点同时注册为控制节点和工作节点，当启动的服务节点的数量为至少两个时，所述分布式服务端将所有启动的服务节点注册为工作节点，同时将其中一个服务节点注册为控制节点。

4.根据权利要求3所述的面向kafka的数据传输方法，其特征在于，在所述分布式服务端将所有启动的服务节点注册为工作节点之后，所述方法还包括：

将作为工作节点的服务节点在所述分布式服务端中注册为备用控制节点；当作为控制节点的服务节点发生异常时，判断是否存在可用的备用控制节点若是则从所述备用控制节点中选取一个注册为新的控制节点，否则启动新的服务节点注册为新的控制节点。

5.根据权利要求1至4任一项所述的面向kafka的数据传输方法，其特征在于，所述方法还包括：

当接收到新的数据传输请求时，根据所述新的数据传输请求确定待消费的Topic，判断所述待消费的topic是否已存在对应的消费任务，若不存在则根据所述新的数据请求启动新的服务节点，以基于所述新的服务节点进行数据消费。

6.根据权利要求5所述的面向kafka的数据传输方法，其特征在于，当存在多个topic同时进行数据消费时，所述方法还包括：

接收WEB端发送的暂停请求，根据所述暂停请求确定至少一个暂停消费的topic，根据确定的topic获取对应的任务信息，以获取与所述确定的topic对应的多个子消费任务的任务信息；

根据获取的多个子消费任务的任务信息，确定执行消费所述确定的topic的数据的工作节点，由控制节点控制确定的工作节点暂停执行消费所述确定的topic的数据。

7.根据权利要求1至4任一项所述的面向kafka的数据传输方法，其特征在于，所述方法还包括：

根据所述数据接收端的实际写入速度动态配置数据消费速率，具体基于令牌桶算法控制每秒消费的数据条数来调整所述数据消费速率，当所述数据接收端的写入速度低于预设阈值时，降低每秒消费的数据条数来降低所述数据消费速率，否则增加每秒消费的数据条数来增加所述数据消费速率。