[发明专利]一种高效的大数据分布式传输系统及方法在审
| 申请号： | 201810375745.4 | 申请日： | 2018-04-25 |
| 公开（公告）号： | CN108737503A | 公开（公告）日： | 2018-11-02 |
| 发明（设计）人： | 魏素扬 | 申请（专利权）人： | 江苏鸣鹤云科技有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;G06F17/30 |
| 代理公司： | 北京东方灵盾知识产权代理有限公司 11506 | 代理人： | 王君昌 |
| 地址： | 224000 江苏省盐城市城南新*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种高效的大数据分布式传输系统及方法，大数据分布式传输系统,包括：采集机，采集机通过智能体采集网络中产生的网络数据；分布式消息总线Kafka集群，分布式消息总线Kafka集群与采集机连接，并使用Flume采集数据以接收智能体采集到的数据，并对数据进行汇聚；第一磁盘，第一磁盘与所述分布式消息总线Kafka集群连接，汇聚后的数据落入第一磁盘中；单向设备，单向设备与第一磁盘相连，以将第一磁盘上的数据进行单向摆渡分布式文件系统或第二磁盘。根据本发明的高效的大数据分布式传输系统，可以保证数据准实时传输至大数据中心。 | ||
| 搜索关键词： | 磁盘 分布式传输 大数据 分布式消息 采集机 总线 单向设备 智能体 集群 分布式文件系统 采集 汇聚 准实时传输 采集数据 集群连接 数据中心 网络数据 网络 保证 | ||
【主权项】：
1.一种高效的大数据分布式传输系统,其特征在于，包括：采集机，所述采集机通过智能体采集网络中产生的网络数据；分布式消息总线Kafka集群，所述分布式消息总线Kafka集群与所述采集机连接，并使用Flume采集数据以接收所述智能体采集到的数据，并对数据进行汇聚；第一磁盘，所述第一磁盘与所述分布式消息总线Kafka集群连接，汇聚后的数据落入所述第一磁盘中；单向设备，所述单向设备与所述第一磁盘相连，以将所述第一磁盘上的数据进行单向摆渡分布式文件系统或第二磁盘。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于江苏鸣鹤云科技有限公司，未经江苏鸣鹤云科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810375745.4/，转载请声明来源钻瓜专利网。
