[发明专利]一种分布式流量采集系统和边缘计算方法有效
申请号: | 201911090363.8 | 申请日: | 2019-11-08 |
公开(公告)号: | CN111131379B | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 苏锐丹;孙昊 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F9/50;G06F16/182;G06N20/00 |
代理公司: | 西安长和专利代理有限公司 61227 | 代理人: | 李霞 |
地址: | 710071 陕西省*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 流量 采集 系统 边缘 计算方法 | ||
1.一种分布式流量采集系统,其特征在于,所述分布式流量采集系统包括:
采集节点,与边缘节点连接,用于根据需求执行多种类型数据的采集,从同一个网卡接口中获取原始网络数据,通过不同的采集设备将流量解析为多种格式并输出至指定的下一层端口;
边缘节点,前后分别与采集节点、云中心节点连接,边缘节点需要设置在尽可能靠近数据源的机器上,用于接收采集节点传输进来的数据,根据规则引擎或负载策略有选择的进行边缘计算;
云中心集群,首先负责汇总下层所有节点产生的所有数据,根据应用名称、数据类型等属性,将数据分别进行存储或后续处理;每个节点都会将该节点的状态日志等信息上传到云中心,用于绘制节点拓扑图。
2.如权利要求1所述的分布式流量采集系统,其特征在于,所述采集节点在向下一层进行传输前,对每一个数据文件进行标记,标记的属性信息包括数据自来自哪个节点、哪个应用、什么数据类型。
3.如权利要求1所述的分布式流量采集系统,其特征在于,所述边缘节点还用于自定义要执行的边缘计算内容,并将处理结果传送至下一层。
4.如权利要求1所述的分布式流量采集系统,其特征在于,所述边缘节点还用于将不需要进行边缘计算的或非时间关键性的数据,直接卸载到在云中心进行后续的处理。
5.如权利要求1所述的分布式流量采集系统,其特征在于,所述云中心节点的输入端口与边缘节点的输入端口相同。
6.一种如权利要求1所述分布式流量采集系统的边缘计算方法,其特征在于,所述分布式流量采集系统的边缘计算方法包括以下步骤:
步骤一,规划分布式数据采集系统的节点,划分出采集节点、边缘节点和云中心节点,并依据设备的硬件性能分别安装Apache MiNiFi或Apache NiFi;
步骤二,在采集节点、边缘节点和云中心节点上配置流模板,连接前后节点,完成数据采集、数据传输、边缘计算,并将所有节点组织成以云中心为根的树状结构。
7.如权利要求6所述的分布式流量采集系统的边缘计算方法,其特征在于,
步骤一中,将Apache MiNiFi安装在树莓派硬件资源上仅作为采集节点,将ApacheNiFi安装在主机或服务器上作为边缘节点或者云中心节点;Apache NiFi也可安装在采集节点中,负责大流量的采集和解析;依据某节点处理数据量的大小进行水平扩展,构成NiFi集群。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911090363.8/1.html,转载请声明来源钻瓜专利网。