[发明专利]一种基于应用程序流量分布式分析的主机实时识别方法

说明书

本发明提供一种基于应用程序流量分布式分析的主机实时识别方法。本发明的方法包括：S1，分布式流量报文分析与处理；S2，设备指纹的生成；S3，主机的实时识别。本发明利用分布式计算平台，针对高速网络环境通过对主机流量的分析，识别并提取主机操作系统和软件信息，生成设备指纹，最终借助机器学习算法实现对主机的实时识别。

技术领域：

本发明涉及一种基于应用程序流量分布式分析的主机实时识别方法，属于主机识别技术领域。

背景技术：

随着网络技术的快速发展，互联网迅速地融入到人们生活的方方面面。然而，互联网在便捷人们生活的同时，也成为了网络犯罪的温床，各类网络犯罪事件频繁发生。网络监管作为维护网络安全的一道防线，承担了对各类网络犯罪事件监控和管制的任务，并通过对网络犯罪主体的惩处维护网络的安全。主机识别作为网络监管的一个关键环节，在其中发挥着至关重要的作用。本专利将主机在一段时间内的持续网络访问定义为主机的一次网络会话，主机IP地址的变化或者网络访问的中断标志着会话结束，主机识别的目标是通过抽取会话期内的流量特征数据，实现对不同会话的关联识别。

由于主机接入互联网的前提条件是拥有IP地址和MAC地址，依据网络流量报文中的IP地址或MAC地址识别主机是最为直观的方法，然而这类地址并非固定不变，既可以动态申请，也可以人为设定。因此，基于这种强标识进行主机识别的方法难以在实际应用中取得较好的效果。为了应对此类问题，基于网络流量分析的主机识别技术成为一个重要的研究方向。

基于网络流量分析的主机识别技术主要是指通过对设备信息以及主机运行环境信息的收集，实现对主机的识别。其中，收集的有效信息包含设备的硬件信息、操作系统信息、软件信息，以及应用协议的参数信息等。现有的基于网络流量的主机识别技术分别在物理层、链路层、网络层、传输层和应用层进行研究，主要可以分为以下两类：基于物理信号的特征识别技术和基于协议栈的特征识别技术。前者利用设备的细微差异区分不同的主机，而后者则是借助协议栈的相关参数识别主机的操作系统，并进而用于对主机的识别。但是，基于物理信号的主机识别技术能力较弱，无法在大规模网络中取得较好的识别率，而基于协议栈参数的主机识别技术的识别粒度不足，不能直接实现对主机的识别。同时，面对高速网络环境，传统的集中式程序无法提供实时的计算能力，也不能保障系统的可靠性。

发明内容

本发明的目的是针对现有技术中存在的问题，提出一种基于应用程序流量分布式分析的主机实时识别方法，利用分布式计算平台，针对高速网络环境通过对主机流量的分析，识别并提取主机操作系统和软件信息，生成设备指纹，最终借助机器学习算法实现对主机的实时识别。

上述的目的通过以下技术方案实现：

一种基于应用程序流量分布式分析的主机实时识别方法，该方法包括以下步骤：

S1，分布式流量报文分析与处理；

S2，设备指纹的生成；

S3，主机的实时识别。

进一步地，步骤S1的具体过程包括：

S101，从数据源中读取流量报文，并以元组的形式源源不断地传递至分布式报文分析与处理框架内部；

S102，对流量报文头部进行解析，记录报文的时间戳、MAC地址、IP地址、传输层协议类型、端口号、有效载荷长度及其偏移值，并过滤无关协议的报文；

S103，对流量报文进行深度包检测，并识别其应用协议类型；

S104，对流量报文进行应用程序识别。

其中，所述步骤S103，对流量报文进行深度包检测，深度包检测包含规则匹配引擎和协议识别规则两部分。