[发明专利]一种高效的大数据分布式传输系统及方法

说明书

本发明公开了一种高效的大数据分布式传输系统及方法，大数据分布式传输系统,包括：采集机，采集机通过智能体采集网络中产生的网络数据；分布式消息总线Kafka集群，分布式消息总线Kafka集群与采集机连接，并使用Flume采集数据以接收智能体采集到的数据，并对数据进行汇聚；第一磁盘，第一磁盘与所述分布式消息总线Kafka集群连接，汇聚后的数据落入第一磁盘中；单向设备，单向设备与第一磁盘相连，以将第一磁盘上的数据进行单向摆渡分布式文件系统或第二磁盘。根据本发明的高效的大数据分布式传输系统，可以保证数据准实时传输至大数据中心。

技术领域

本发明设计大数据传输技术领域，具体而言，特别设计一种高效的大数据分布式传输系统及方法。

背景技术

随着互联网移动互联网技术的发展，产生的数据越来越多，数据需要被采集到大数据中心进行存储，并且使用数据挖掘算法挖掘数据的价值，指导未来的战略布局和营销。而从数据采集到数据中心化存储，必然会使用到大数据传输技术。但相关技术中的数据传输的系统，在进行大规格海量数据并发传输，把个采集机采集到的数据级联传输至大数据中心时，对采集机运行状态的监测能力差，数据的完整性容易出现问题。

发明内容

本发明旨在至少在一定程度上解决现有技术中的上述技术问题之一。有鉴于此，本发明一方面需要提供一种高效的大数据分布式传输系统保证数据准实时传输至大数据中心。同时，本发明提供了一种高效的大数据分布式传输方法。

根据本发明的实施例的高效的大数据分布式传输系统,包括：采集机，所述采集机通过智能体采集网络中产生的网络数据；分布式消息总线Kafka集群，所述分布式消息总线Kafka集群与所述采集机连接，并使用Flume采集数据以接收所述智能体采集到的数据，并对数据进行汇聚；第一磁盘，所述第一磁盘与所述分布式消息总线Kafka集群连接，汇聚后的数据落入所述第一磁盘中；单向设备，所述单向设备与所述第一磁盘相连，以将所述第一磁盘上的数据进行单向摆渡分布式文件系统或第二磁盘。

根据本发明的实施例的高效的大数据分布式传输系统，不同的数据在不同的网络中，数据存储可能是物理隔离的；数据采集机分散部署在各地，不便于管理，本专利解决采集机运行状态的监测；通过数据校验机制保证数据传输的完整性；通过对节点资源监测，适配硬件资源，保证数据准实时传输至大数据中心。

另外，根据本发明上述实施例的高效的大数据分布式传输系统还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述采集机通过智能体对自定义监测采集字段进行采集。

根据本发明的一个实施例，所述采集机通过智能体对设备软件产生的数据字段进行采集。

根据本发明的一个实施例，所述单向设备与所述分布式文件系统及所述第二磁盘物理隔离。

根据本发明的一个实施例，所述单向设备为网闸。

根据本发明的实施例的高效的大数据分布式传输方法,包括以下步骤：使用采集机采集网络中产生的网络数据，并在每台采集机上部署智能体，使用Flume采集数据传输至分布式消息总线Kafka集群；所述分布式消息总线Kafka集群接收到的智能体采集的数据汇聚于kafak集群，并且落入第一磁盘；所述磁盘上的数据通过单向设备摆渡到物理网隔离的分布式文件系统和/或第二磁盘。

根据本发明的实施例的高效的大数据分布式传输方法，不同的数据在不同的网络中，数据存储可能是物理隔离的；数据采集机分散部署在各地，不便于管理，本专利解决采集机运行状态的监测；通过数据校验机制保证数据传输的完整性；通过对节点资源监测，适配硬件资源，保证数据准实时传输至大数据中心。

另外，根据本发明上述实施例的高效的大数据分布式传输方法还可以具有如下附加的技术特征：