[发明专利]一种基于分组分域的移动应用指纹自动化提取方法及系统

说明书

本发明公开了一种基于分组分域的移动应用指纹自动化提取方法及系统，属于网络安全技术领域。本发明系统包括数据预处理模块、流量分组模块、流量分域模块、指纹提取模块以及指纹提纯模块。本发明方法包括：对采集的HTTP流量解析提取HTTP流量样本；依据Host字段和path一级目录对流量样本进行簇划分；对每个簇内的流量样本进行负载分域；对每个簇提取候选指纹；对候选指纹进行停用词和随机值过滤获得应用指纹；对待识别样本提取数据块域形成指纹，基于应用指纹库计算相似度，识别所属应用。本发明可对输入的移动应用流量自动提取结构化的应用指纹，可自动化识别未知流量所属应用，解决现有技术中有效性差和覆盖率低的问题。

技术领域

本发明属于网络安全技术领域，涉及指纹提取与识别技术，特别涉及一种基于分组分域的移动应用指纹自动化提取方法及系统。

背景技术

在大规模的互联网流量环境下，网络管理和安全任务面临着更高的速度、精度等方面的要求，尤其是对基于网络流量进行应用识别有着迫切需求。一方面，网络安全管理人员希望及时地了解流量来自于哪些应用，针对不同的应用合理分配管理资源，实现精细化的监管；另一方面，某些任务中可能需要对所关注的特定应用流量进行分析。而如何从海量的数据中分离出特定应用的流量或识别出特定的应用，成为了安全人员和研究人员关注的重点。涉及到的具体场景如网络流量识别系统、入侵检测与防御系统、网络安全事件监测、威胁情报分析系统等。

目前主流的应用识别技术是采用基于内容指纹(如字符串、正则表达式等)的方法进行识别，指纹提取与维护更新主要依赖人工分析。所述内容指纹是通过对目标应用的大量流量样本进行分析之后，从负载内容字面本身所归纳形成的能够用于标识该应用的指纹。然而，在实际工程任务的实践中，依靠人工分析提取应用指纹主要存在以下问题：

(1)指纹提取速度慢、效率低、扩展性差，人工靠肉眼分析应用的大量报文提取可能的指纹串，已难以应付当前的需求，同时随着应用数量的增长以及现有应用的不断更新，保持指纹库的同步更新也成为迫切的需求。

(2)提取的指纹质量严重依赖专家经验，不同人员提取出的指纹实际应用效果可能差别很大，影响识别效果。

(3)提取指纹的要求变高、难度加大。目前，无论在PC端还是移动端，产生的非加密流量主要是以HTTP(Hyper Text Transfer Protocol，超文本传输协议)协议为主，且受云服务和第三方服务等发展的影响，传统的基于IP地址、端口号、域名等方法已不再适用，必须对协议内容进行深入分析获取应用指纹。

目前随着Web技术、移动互联网技术的飞速发展，HTTP在各类应用业务中广泛应用，适用领域不断拓宽，且在承载不同应用时其流量中体现出的特性也不尽相同，应用指纹在HTTP流量中出现的位置并非完全固定，呈现较弱的规律性，必须对应用的HTTP流量进行全面分析，经综合研判后才能提取出有效的应用指纹。

发明内容

针对目前移动应用指纹提取和流量识别中，现有应用指纹提取方法存在有效性差和覆盖率低的问题，本发明公开了一种基于分组分域的移动应用指纹自动化提取方法及系统，通过流量划分、负载分域、指纹筛选以及指纹生成等多个阶段操作实现了指纹提取，并在基于相似度匹配的应用识别引擎上进行了指纹应用和评估。