[发明专利]数据传输方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种数据传输方法、装置、计算机设备及存储介质。本发明实施例涉及大数据领域，所述方法包括：获取待传输数据，查询匹配的目标配置信息；根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；将所述待传输数据分别发送到各所述目标地址中。本发明实施例可以提高数据传输效率。

技术领域

本发明实施例涉及大数据领域，尤其涉及一种数据传输方法、装置、计算机设备及存储介质。

背景技术

Apache Flume是一个分布式、高可用、高可靠的系统，可以有效地从许多不同的源收集、聚合和移动海量日志数据到集中式数据存储。

目前，在Flume系统中，同一个Source组件只能使用一种选择器类型。其中，分发选择器会根据相应的原则，将不同的事件发往不同的通道。复制选择会将事件发送到全部通道中。Flume系统本身无法同时实现两个选择器。只能重复多次传输同一数据，才能分发至多个且不是全部集群中。

上述方式，数据传输效率低。

发明内容

本发明实施例提供一种数据传输方法、装置、计算机设备及存储介质，可以提高数据传输效率。

第一方面，本发明实施例提供了一种数据传输方法，包括：

获取待传输数据，查询匹配的目标配置信息；

根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；

将所述待传输数据分别发送到各所述目标地址中。

第二方面，本发明实施例还提供了一种数据传输装置，包括：

配置信息查询模块，用于获取待传输数据，查询匹配的目标配置信息；

配置信息解析模块，用于根据转发配置文件对所述匹配的目标配置信息进行解析，获取至少一个目标地址；

数据传输模块，用于将所述待传输数据分别发送到各所述目标地址中。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的数据传输方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据传输方法。

本发明实施例通过查询到待传输数据匹配的目标配置信息，并根据转发配置文件对目标配置信息进行解析，得到至少一个目标地址，将待传输数据分别发送到目标地址中，解决了现有技术中Flume系统只能将待传输数据发送到一个指定目标地址，或只能发送全部目标地址，导致数据传输效率低的问题，可以同时向多个地址发送待传输数据，可以提高数据传输效率。

附图说明

图1是本发明实施例一中的一种数据传输方法的流程图；

图2a是本发明实施例二中的一种数据传输方法的流程图；

图2b是本发明实施例二中的一种Flume系统结构的示意图；

图2c是本发明实施例二中的一种现有数据传输方法的流程图；

图2d是本发明实施例二中的一种数据传输方法的流程图；

图3是本发明实施例三中的一种数据传输装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的结构示意图。

具体实施方式