[发明专利]以大数据流式技术实现网络数据包的分析方法及系统

说明书

本发明提供了一种以大数据流式技术实现网络数据包的分析方法及系统，包括重传指标分析步骤和/或延时指标分析步骤。本发明还提供相应的以大数据流式技术实现网络数据包的网络指标计算装置。本发明由于与大数据Spark的结合，系统的扩展性、可维护性得到很大增强。随时间的推移，网络结构越来越复杂，网络流量越来越大，需要扩展系统容量时，Spark的扩展性得到很好体现，有效利用了Spark集群的优点。

技术领域

本发明涉及大数据流式技术领域，具体涉及以大数据流式技术实现网络数据包的分析方法及系统，特别是利用大数据计算框架Spark的流式技术用于实时计算，来构建基于集群分布式的、低延迟的网络数据包分析系统。

背景技术

随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。Spark Streaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。其中，Spark是UCBerkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架。

现市场上的网络流量分析系统大多数是实时监测用户网络七层结构中各层的流量分布，进行协议、流量的综合分析。随着网络应用越来越广泛、网络规模日渐增大，网络中承载的业务也越来越丰富，所以网络流量分析的处理量是非常巨大的，传统的技术不能满足于此类超大数据处理，而且系统的架构也决定了容量扩展的能力也是一种瓶颈。

经对现有技术进行检索，发现如下相关检索结果。

相关检索结果1：

申请号：200810171806.1

名称：基于应用层业务分析的网络流量分析方法

该专利文献公开了一种应用于网络流量分析的方法，是将互联网业务进行会话跟踪分析，提取每一个会话的流量、业务服务质量(QoS)、会话状态信息等，这些信息形成业务会话统计信息数据库。该专利文献基于统计学理论，解决了当前网络应用业务飞速发展更新频繁情况下，通过对应用层业务数据的完整分析，避免了传统基于Ci sco Netflow技术只能分析TCP/IP的第四层协议以下信息的弊端，避免 NetFlow基于抽样统计的数据采样技术的信息失真，在网络流量分析、业务服务质量测量、异常流量识别方面，具有非常重要的意义。本发明基于应用层业务检测技术和流量统计测试技术，统计结果准确，便于复杂网络环境下的网络维护、安全定位、业务质量控制等。

技术要点比较：

该专利文献只探测网络应用层面的流量、异常流量、业务服务质量之类的指标，对于具体业务方面的监控几乎没有涉及，所以只是普通网络应用层面通用指标监控，对于需要重点监控的具体业务端口的监控能力就显得不足，具体业务的异常指标无法全面展现。异常告警方面也比较简单，没有重点提示和完整展现。

本发明提供了业务端口层面的网络监控，不但有网络流量的监控，还有监控具体业务网络端口上的指标如0窗口、TCP重传、应用延时、客户端延时、网络延时。而且在告警方面提供多维度的告警视图，能及时的全面了解网络和业务异常情况，帮助定位和解决异常提供及时、可靠、准确的参考依据。

相关检索结果2：

申请号：201310749557.0

名称：一种基于分布式的网络流量分析系统及方法