[发明专利]一种数据传输方法、装置、客户端、电子设备及存储介质

说明书

本发明实施例提供一种数据传输方法、装置、客户端、电子设备及存储介质，该方法包括：从数据源采集数据；将所述数据的内容组织为目标消息队列中的消息；分别建立所述目标消息队列与指定的多个数据存储系统的传输通道；通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统。本发明实施例可解耦数据的单一传输流向，实现数据传输通道的并行扩展和数据在多个传输通道的并行传输。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据传输方法、装置、客户端、电子设备及存储介质。

背景技术

数据传输是指从数据源中采集数据，并将采集的数据传输到DFS

(Distributed File System，分布式文件系统)等数据存储系统中。目前采集的数据的传输流向是单一的，即在从数据源中采集数据后，数据通过单一传输通道传输到数据存储系统。这种数据传输方式可能存在如下后续问题：

仅能从单一的数据存储系统读取数据，数据的读取途径受到限制；数据的容灾性较差，当单一的数据存储系统出现问题时，只能从数据源中重新采集数据。

因此，如何改进数据传输方式，从而为解决上述问题提供基础，成为了本领域技术人员需要考虑的问题。

发明内容

有鉴于此，本发明实施例提供一种数据传输方法、装置、客户端、电子设备及存储介质，以解耦数据的单一传输流向，实现将数据通过多个传输通道并行传输给多个数据存储系统，从而为解决上述提及的问题提供基础。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据传输方法，包括：

从数据源采集数据；

将所述数据的内容组织为目标消息队列中的消息；

分别建立所述目标消息队列与指定的多个数据存储系统的传输通道；

通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统。

可选的，所述将所述数据的内容组织为目标消息队列中的消息包括：

将所述数据的内容按行封装为事件数据；

将一个事件数据作为一条消息，在所述目标消息队列中以队列形式组织消息。

可选的，所述目标消息队列包括第一数据传输任务对应的第一消息队列；所述数据包括所述第一数据传输任务对应的第一数据。

可选的，所述目标消息队列中不同数据传输任务对应的消息以不同的主题区分；所述分别建立所述目标消息队列与指定的多个数据存储系统的传输通道包括：

根据所述目标消息队列的不同主题，针对不同的数据传输任务，分别建立所述目标消息队列与指定的各数据存储系统的传输通道；

所述通过所述传输通道，将目标消息队列的消息并行传输给所述多个数据存储系统包括：

针对任一数据传输任务，将所述目标消息队列中与该数据传输任务对应的消息，通过该数据传输任务相应的传输通道，并行传输给各数据存储系统。

可选的，所述目标消息队列还包括第二数据传输任务对应的第二消息队列；所述数据还包括所述第二数据传输任务对应的第二数据。

可选的，所述第一消息队列与所述第二消息队列不同；所述第一消息队列中的消息包括：第一数据的内容组织的第一消息；所述第二消息队列中的消息包括：第二数据的内容组织的第二消息；其中，所述第一消息队列中第一消息对应的第一主题，不同于所述第二消息队列中第二消息对应的第二主题。

本发明实施例还提供一种数据传输装置，包括：