[发明专利]一种分布式流量采集系统和边缘计算方法

说明书

本发明属于大数据云计算技术领域，公开了一种分布式流量采集系统和边缘计算方法。首先，规划分布式数据采集系统的节点，划分出采集节点、边缘节点和云中心节点，并依据设备的硬件性能分别安装Apache MiNiFi或Apache NiFi；其次，在采集节点、边缘节点和云中心节点上配置流模板，连接前后节点，完成数据采集、数据传输、边缘计算等功能，并将所有节点组织成以云中心为根的多级树状结构。本发明借鉴物联网应用场景中的边缘计算模式，在尽可能靠近数据源的地方，部署机器学习模型对数据进行分布式的并行处理，提高资源利用率和数据处理效率。

技术领域

本发明属于大数据云计算(边缘计算)技术领域，尤其涉及一种分布式流量采集系统和边缘计算方法。

背景技术

目前，许多物联网(IoT)应用如智能家居、可穿戴设备、车联网等，已在本发明的日常生活中得到了广泛应用。物联网的迅猛发展使得一切事物都能互联互通，为本发明的学习、工作和生活提供了极大的便利。在物联网场景中，采用了大量的传感器设备，以便能够感知环境、监测变化从而做出相应的动作。由于这些智能设备的计算能力和存储容量有限，其本身的性能不足以有效处理这些传感器数据，也不能执行更复杂的处理动作，因此，一种更好的解决方案是采用云计算的方法，仅仅将这些智能设备看作是简单的数据生成器，将传感器数据直接传送到云服务器中进行存储和计算的卸载。

然而，根据目前的趋势预测，思科指出到2020年将有500亿台设备连接到互联网，思科全球云指数预测，到2020年由物、人、机产生的数据将超过500ZB，但此时全球数据中心的IP流量只会达到10.4ZB。此外，思科CEO预测到2025年将有大约5000亿个用户设备加入互联网。因此，处理快速增长的数据量以便减轻网络的沉重负担成为一个亟需解决的问题。同时，在越来越多的新场景中，如视频分析、自动驾驶等应用，需要物联网支持实时响应、位置感知、低延迟处理等功能，但由于云计算的集中化特性，且远离用户设备，加上数据在网络传输过程中由于带宽瓶颈产生的高延迟，使得云计算无法满足这些需求。为了解决这些问题，人们引入了边缘计算。在尽可能靠近数据源的机器上进行分布式的数据并行处理和分析，来实现更高的执行速度和更短的响应时间，将发送到服务器的数据量缩减到最少，这样可以提高数据传送链路上机器性能的利用率，提高整体的执行效率，大大提高了物联网的成功率。

相似的，在基于大数据的校园网络流量安全分析应用场景中，在校园内部署多个采集点来进行网络原始数据包的捕获和预处理。这些采集节点可以是一个用来监听无线流量的树莓派，也可以是接入骨干接点的镜像服务器。对于小型化的树莓派节点来说，其本身的计算和存储能力不足以支持大量的数据处理，总是需要将计算卸载到云中心；而对于骨干网上的镜像服务器来说，瞬时流量可能高达3-4Gbps，将这些流量全部传送到云中心进行处理，不仅会占用大量的网络带宽，也会使得云中心产生数据堆积，从而导致较高的数据处理延迟和响应时间，不能迅速得到处理结果。

综上所述，现有技术存在的问题是：

(1)现有技术在流量数据传输过程中会占用大量的网络带宽，导致网络拥塞，产生较高的延迟。

(2)现有技术大多使用云计算，海量数据上传会使云中心的数据堆积，导致较高的数据处理延迟和响应时间，不能迅速得到处理结果，造成处理效率低下，且计算、存储成本高。

(3)现有技术会将数据输到云端，重要的敏感信息会经过网络传输，可能造成传输过程中的隐私泄漏。

(4)，现有技术对云中心依赖严重，数据传输在互联网连接受限的地区不能稳定地离线运行。

解决上述技术问题的难度：目前边缘计算的架构仍缺乏清晰、统一的定义，无论是工业领域还是消费领域，都存在众多细分市场，需求差异巨大，这导致边缘计算方案的多样性。因此，本发明需要在校园网络环境中，针对基于大数据的网络流量安全分析应用场景进行定制，依据众多厂家边缘计算产品的共性，抽象出边缘计算框架，并根据自身功能需求进行细化，包括数据采集、传输、边缘计算、结果反馈等自动化的基础功能，以及云中心的远程监控、管理等高级功能。