[发明专利]数据汇聚方法、装置、设备、存储介质和系统

说明书

本发明公开了一种数据汇聚方法、装置、设备、存储介质和系统，属于大数据技术领域。该方法应用于第一数据汇聚系统的控制设备中，该方法包括：获取多个虚拟节点的配置信息；根据接收到的数据汇聚指令确定起始虚拟节点和目的虚拟节点，并根据该多个虚拟节点的配置信息和每个虚拟节点对应的节点设备，确定从起始节点设备到达目的节点设备的传输通道，向该传输通道的每个节点设备下发传输通道，由传输通道上的每个节点设备进行数据传输，将起始节点设备的数据汇聚到目的节点设备中。通过输入的配置指令即可自定义配置信息，能够根据业务需求对配置信息进行更新，从而更改数据汇聚系统中的节点设备，扩展了数据汇聚系统的业务能力，提高了灵活性。

技术领域

本发明涉及大数据技术领域，特别涉及一种数据汇聚方法、装置、设备、存储介质和系统。

背景技术

随着大数据技术的不断发展和网络规模的不断扩大，数据的收集汇聚已成为备受关注的问题。由于在实际的网络中，各个服务器分散部署，导致各个服务器上的数据相互孤立，无法进行统一的数据管理，因此需要将不同服务器上的数据进行汇聚。

相关技术提供了一种基于Apache Flume(日志采集)框架进行数据汇聚的方式，数据汇聚系统中包括至少一个收集服务器和至少一个汇聚服务器，每个收集服务器与一个或多个汇聚服务器连接。并且在每个收集服务器上安装Apache Flume框架的客户端，在每个汇聚服务器上安装Apache Flume框架的汇聚端，则收集服务器与汇聚服务器可以基于Apache Flume框架进行交互。多个终端设备分别与一个或多个收集服务器连接，每个终端设备可以将获取到的数据上传至连接的收集服务器中，由收集服务器对接收到的数据进行分类收集，并将收集到的数据发送给汇聚服务器，汇聚服务器即可存储收集到的数据，实现了将不同终端设备上的数据汇聚在一起的功能。

但是，由于数据汇聚系统中的收集服务器和汇聚服务器配置好以后将无法更改，扩展性能差，即使存在其他具有数据收集功能的服务器，也无法加入到数据汇聚系统中。

发明内容

本发明实施例提供了一种数据汇聚方法、装置、设备、存储介质和系统，可以解决其他具有数据收集功能的服务器无法加入到数据汇聚系统中的问题。所述技术方案如下：

第一方面，提供了一种数据汇聚方法，应用于第一数据汇聚系统的控制设备中，所述第一数据汇聚系统包括多个节点设备和所述控制设备，所述控制设备分别与所述多个节点设备连接，所述方法包括：

获取多个虚拟节点的配置信息，所述配置信息根据在所述配置设备上输入的配置指令确定，所述配置信息至少包括输入设备的设备标识和输出设备的设备标识，所述多个虚拟节点与所述多个节点设备一一对应；

当接收到包括起始节点设备的设备标识和目的节点设备的设备标识的数据汇聚指令时，基于所述数据汇聚指令，确定所述起始节点设备对应的起始虚拟节点和所述目的节点设备对应的目的虚拟节点；

根据所述多个虚拟节点的配置信息以及每个虚拟节点对应的节点设备，确定从所述起始节点设备到达所述目的节点设备的传输通道，所述传输通道由至少两个节点设备按照顺序连接而成；

向所述传输通道上的每个节点设备下发所述传输通道，由所述传输通道上的每个节点设备进行数据传输，将所述起始节点设备的数据汇聚到所述目的节点设备中。

可选地，所述获取多个虚拟节点的配置信息之后，所述方法还包括：

对于所述多个虚拟节点中的任两个虚拟节点，当其中一个虚拟节点的输出设备的设备标识与另一个虚拟节点的输入设备的设备标识相同时，将所述任两个虚拟节点连接，得到虚拟拓扑结构，所述虚拟拓扑结构由所述多个虚拟节点连接构成，且所述虚拟拓扑结构用于描述所述多个节点设备的连接关系；

所述根据所述多个虚拟节点的配置信息以及每个虚拟节点对应的节点设备，确定从所述起始节点设备到达所述目的节点设备的传输通道，包括：