[发明专利]基于边缘计算的超大规模DPI数据处理系统及处理方法

说明书

本发明揭示了一种基于边缘计算的超大规模DPI数据处理系统及相对应的数据处理方法，系统包括：DPI插件单元，部署在网关内，用于进行数据信息的采集、清洗与分析，生成上报信息并上传；数据传输单元，用于接收上报信息，对上报信息进行加密并转发；云端处理单元，用于接收上报信息，对上报信息进行解密、存储及处理，最终输出数据处理结果。本发明充分地将边缘计算的思想应用到了网络运营商对DPI数据处理的业务中，解决了传统业务处理过程中云计算模式所存在的各种问题，使得系统整体在服务的响应性能、稳定性等方面得到了显著地提升。

技术领域

本发明涉及一种数据处理系统及相对应的数据处理方法，具体而言，涉及一种基于边缘计算的超大规模DPI数据处理系统及处理方法，属于DPI技术领域。

背景技术

DPI（Deep Packet Inspection）是一种基于数据包的深度检测技术，针对不同的网络应用层载荷（例如HTTP、DNS等）进行深度检测，通过对报文的有效载荷检测决定其合法性。

DPI技术通过对网络中关键点处的流量和报文内容进行检测分析，根据事先定义的策略对检测流量进行过滤控制，从而实现所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤、对滥用P2P的控制等多种功能。

伴随着网络技术的不断发展，数据量的不断增长，DPI数据的规模也日益激增。目前，各传统网络运营商对于DPI数据的处理模式仍然选用的是云计算处理，由于DPI数据规模的扩大，这一处理模式的弊端逐渐显现。具体而言，基于云计算处理的DPI数据处理模式存在着以下几个方面的弊端：

1、很难实现对多源异构数据的处理。由于系统中感知层的数据属于海量级别，数据之间存在着频繁的冲突与合作，具有很强的冗余性、相关性、实时性和多源异构等特性，融合的多源异构数据和实时处理要求都给云计算带来了无法解决的巨大挑战。

2、带宽负载大且浪费资源。由于云服务是一种聚合度很高的集中式服务计算模式，用户将数据发送到云端存储和处理将消耗大量的网络带宽和计算资源，造成带宽负载过大、资源浪费等问题。同时，大量的用户访问也会进一步增加网络流量，进而引发服务中断、网络时延等问题。

3、资源受限现象严重。由于在现行的万物互联模式中，网络边缘设备通常是资源受限的（存储、计算能力和电池容量等），因此现行模式下数据在边缘设备和云计算中心之间的长距离传输能耗问题尤为突出。

4、安全性及隐私保护程度较低。在目前的云计算处理模式中，需要将网络边缘数据等涉及到个人隐私的数据信息上传至云计算中心内进行处理，用户的隐私数据很容易被第三方所截获，从而造成用户隐私数据的泄露。

近年来，边缘计算技术兴起。边缘计算（Edge Computing）起源于传媒领域，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用等核心能力为一体的开放平台，就近提供最近端服务的技术。由于该技术的应用程序在边缘侧发起，因此其能够更快地完成网络服务响应，满足使用者在实时业务、应用智能、安全与隐私保护等方面的基本需求。

正因现有技术中存在着上述不足，而边缘计算技术的出现恰好又为现有技术的改进提供了新的思路，因此，如何将边缘计算技术与现有的DPI数据处理方案相结合，以克服现有技术中所存在的诸多问题，也就成为了目前行业内技术人员亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于边缘计算的超大规模DPI数据处理系统及处理方法，具体如下。

一种基于边缘计算的超大规模DPI数据处理系统，包括：

DPI插件单元，部署在网关内，用于进行数据信息的采集、清洗与分析，生成上报信息并对所述上报信息进行上传；