[发明专利]一种适用于大规模网络环境的HTTPS流服务在线标识方法

说明书

本发明公开了一种适用于大规模网络环境的HTTPS流服务在线标识方法，包括：1)根据实际网络中HTTPS和DNS流量的属性，计算用于读取HTTPS流和DNS流的滑动时间窗口参数，然后采用滑动窗口机制实时地从网络流量中读取HTTPS流数据和DNS流数据；在每个滑动时间窗口下：2)分别把DNS数据和HTTPS数据处理为键值对格式的数据集合；3)通过两级关联方法建立HTTPS与DNS的关联；4)采用基于客户机DNS请求行为的候选服务标识确定方法，从关联的多个域名中选择一个或多个作为HTTPS流的服务标识。本发明应用于大规模网络环境下实时自动HTTPS流服务精细化识别，无需事先确定用于标识HTTPS流的分类标识符，无需事先建立网页指纹库，不易被攻击者欺骗，资源耗费小。

技术领域

本发明属于网络安全与信息技术领域，具体涉及一种适用于大规模网络环境的HTTPS流服务在线标识方法。

背景技术

近年来以HTTPS为代表的加密流量持续处于显著增长状态，目前全球已有超过半数的Web流量采用了HTTPS进行传输。在线识别HTTPS流上承载的服务对网络安全管理具有重要的意义。目前，针对HTTPS流服务的识别方法主要有基于指纹攻击的服务识别、基于服务器名称标识(Server Name Indication，SNI)的方法和基于DNS与流关联的方法三类。

基于指纹攻击的服务识别方法通过观察数据流的模式来构建网页指纹，以推断加密或匿名连接的加密网页。这种方法前提假设较为严苛，需要预先建立指纹库，不能识别未建立指纹的目标，缺乏灵活性和可扩展性。

基于SNI的方法基于TLS协议，提取Client Hello数据包中SNI扩展域中包含连接服务器的域名信息，对SSL/TLS应用识别和HTTPS网站进行识别。其主要思想是建立目标SNI列表，对未知流量提取出其SNI信息，与列表进行比对，从而完成识别。由于SNI不是协议强制要求，SNI的值可能缺失或者被修改，使得基于SNI流服务识别方法失效。在实际的网络中，SNI仅能作为HTTPS网页辅助识别手段。且由于基于SNI的方法需要在数据包级提取应用层的信息，在大规模网络环境下处理和提取包级数据的代价较高，不适用于大规模网络环境下的HTTPS流服务识别。

基于DNS与流关联的方法从DNS流量中提取域名信息和服务器的关联关系，保存在数据库或设计的数据结构中，当每条流到达时，通过检索数据库，将域名分配给流，从而实现加密网络流量分类与识别。但现有方法需持续地保存新的DNS数据，且需要在线维护庞大的DNS数据，不适用于大规模网络环境。尽管在有些方法中设计了数据过期移除和数据结构最大容量限制机制，但以客户机IP地址与服务器IP地址为检索关键字的方法，始终面临着因DNS缓存机制带来的DNS请求缺失而无法有效标识HTTPS流的问题，最终导致流识别率偏低。

相关解释：

Spark：是一个针对大规模数据集合的低延迟集群分布计算引擎。

Spark Streaming：是Spark提供的一个核心API扩展，用于实现高吞吐量、具有容错机制的实时流数据的处理。

Cogroup：Spark提供的一种对弹性分布式数据集(RDD)的专有操作，这些操作被简称为算子。Cogroup的作用是将两个RDD中拥有相同键的数据分组合并在一起。

HTTPS：超文本传输安全协议(Hypertext Transfer Protocol Secure)是HTTP协议的安全扩展，用于两个主机之间的安全通信。

DNS：域名系统(Domain Name System)是互联网的一项基础服务，提供域名和IP地址之间的映射，使人们更方便的使用互联网。

发明内容