[发明专利]以大数据流式技术实现网络数据包的分析方法及系统

摘要

本发明提供了一种以大数据流式技术实现网络数据包的分析方法及系统，包括重传指标分析步骤和/或延时指标分析步骤。本发明还提供相应的以大数据流式技术实现网络数据包的网络指标计算装置。本发明由于与大数据Spark的结合，系统的扩展性、可维护性得到很大增强。随时间的推移，网络结构越来越复杂，网络流量越来越大，需要扩展系统容量时，Spark的扩展性得到很好体现，有效利用了Spark集群的优点。

主权项

1.一种以大数据流式技术实现网络数据包的分析方法，其特征在于，包括重传指标分析步骤和/或延时指标分析步骤；所述重传指标分析步骤，包括如下步骤：步骤A：得到各个TCP报文的特征字符串，具体为：将TCP报文头信息中的报文序号seq、确认号ack、源IP、目的IP以字符串形式组成特征字符串，其中，源IP表示TCP/IP协议中发送方IP，目的IP表示TCP/IP协议中接收方IP；步骤B：统计相同的特征字符串的数量，将所述相同的特征字符串的数量作为TCP重传报文数量；所述延时指标分析步骤，包括如下步骤：步骤1：将数据流按时间T为时间间隔进行分片；步骤2：通过Spark Streaming实时计算框架的滑动窗口操作将分片得到的连续数据作为一次计算处理的数据转换成时间T的DStream数据集；步骤3：将时间T的DStream数据集进行map转换得到报文集合map，然后将报文集合map进行一次groupByKey操作，产生key值唯一的报文集合map；其中，key表示报文集合map中的键；步骤4：将从key值唯一的报文集合map中提取出的报文数量大于2的报文集合map，组成一个新报文集合map；步骤5：对所述新报文集合map进行遍历，计算出所述新报文集合map中的值之间的时间间隔，即：Ta＝T2‑T1，Tb＝T3‑T2，Tc＝T3‑T1；其中，Ta表示应用延时时间值，Tb表示客户端延时时间值，Tc表示网络延时时间值，T1表示第一次握手报文时间戳，T2表示第二次握手报文时间戳，T3表示第三次握手报文时间戳；步骤6：将时间T内的所有Ta、Tb、Tc分别计算出平均值和最大值作为网络延时指标；在报文集合map中：客户端发送的SYN＝1、ACK＝0的握手报文的key的计算公式为：key＝源IP+源端口+目的IP+目的端口+报文序号seq；服务端回复的SYN＝1，ACK＝1的确认报文的key的计算公式为：key＝目的IP+目的端口+源IP+源端口+(报文确认号ack‑1)；其他报文的key的计算公式为：key＝源IP+源端口+目的IP+目的端口+(报文序号seq‑1)。