[发明专利]一种未知应用层协议报文格式的最佳分段方法

说明书

技术领域

本发明属于网络安全的应用层网络协议自动反向分析的技术，特别是涉及一种未知应用层协议报文格式的最佳分段方法。

技术背景

对应用层协议的分析研究开始于如何有效的识别网络中存在的各种应用层协议。在网络层和传输层中，网络中的流量具有多达249种测度可以作为流量识别的特征。由于基于流测度的方法只能将网络流粗略的分成几大类，不能区分同一类中的不同协议，这一局限性促使许多研究关注应用层载荷(payload)的识别特征。基于应用层载荷(payload)的识别方法是针对于应用层载荷的前n个字节，利用不同的统计学方法来获取应用层协议的识别特征。

对于未知应用层协议分析来说，准确地从网络流量中找出未知应用仅仅是第一步，许多网络管理和安全应用需要对未知协议有更深入的了解。例如基于深度包检测(DPI)的安全系统需要完整的协议规范作为输入。而要实现协议仿真和协议漏洞测试则必须了解报文中各个字段的语法和语义规则。所以，自动的协议逆向工程变得非常重要，其目的是要在无需了解协议规范的前提下，重构协议的报文格式，以及推导出描述各种类型报文发送顺序的状态机。目前，国内外对网络协议逆向工程的研究根据分析数据的类型可划分为两个方向：基于程序分析(program analysis)的方法和基于流量分析(traffic analysis)的方法。

基于程序分析(program analysis)的方法又可以分为静态分析方法和动态分析方法。目前，静态分析方法主要是运用反汇编工具对协议的可执行程序进行反汇编，由于需要大量的人工参与，效率低下，而且容易出现错误，因此人们一般不采用静态分析方法，而是侧重于动态分析方法。动态分析方法利用动态污点分析(dynamic taint analysis)的方法动态地监测协议的可执行程序的运行过程，通过观察和分析程序在执行过程中体现出的各种行为及上下文信息来提取协议的消息格式。而且这种方法可以揭示丰富的语义信息，准确性高。

然而，基于程序分析的方法必须先获得协议的可执行程序，对于大多数协议，往往不能及时或者很难获得它们的可执行程序，这将会对协议反向工程的时效性造成巨大影响。另外，一些攻击程序由于其隐蔽性和多态性，往往会使得基于程序分析的方法失效。即使获得了可执行程序，还需要让其运行在一个可控制的环境里才能对其进行监测和分析。因此，在当前复杂的网络环境中，新型应用和新型攻击快速出现，网络环境变化迅猛，基于程序分析的方法显然不能提高网络管理的效率和对新型攻击的反应速度。而基于流量分析的方法只需分析协议的应用层数据包，不需要额外获取实现协议的程序实例，而且通过网络抓包工具或者蜜罐技术很容易从网络上采集到网络流量，因此它易于系统实现和部署，更适合当前新型网络应用日新月异、网络环境变化迅猛的形势要求。

基于流量分析的方法主要有基于序列比对、递归聚类、统计分析、自动机等的方法。

序列比对在生物信息学领域已得到广泛的运用，主要用于分析生物遗传信息的相似性。基于序列比对的方法把应用层的消息看作是字符序列，运用著名的Needleman Wunsch算法将两个字符序列对齐到具有相同长度的形式，并且两个序列中相同的部分相互对齐。

基于递归聚类的方法先把消息分割为二进制类型或文本类型的token，用B、T分别替换消息中的二进制类型、文本类型的token，从而得到只包含B、T的序列，称之为token序列模式，接着对各个消息的Token序列模式，运用递归聚类的方法根据Token序列模式和格式标志域的取值不断地重复再分类，直到子类中的报文数目小于某个阈值，最后在每个子类里推断消息的格式。

基于统计分析的方法是根据报文各字节或位的统计规律提取网络协议的相关字段。相关字段(Relevant Field)是指可以体现消息的一般特征或者会话间的相似行为的字段。

基于自动机的方法运用序列比对的算法对消息基于字节进行两两比对，将比对的结果作为自动机状态转移路径构建自动机，最后借助偏序比对算法(partial order alignment)化简自动机。

以上基于流量分析的方法对系统输入的数据集有严格的要求，数据集中的流量必须是属于同一类协议的，如果在待分析协议的流量中混杂了其他协议的流量，即引入了噪声，则会导致系统的性能明显下降，大大降低分析结果的准确性。同时，目前也没有一种有效的方法可以对报文内的各个字段进行准确划分，对字段划分是否最佳对报文的语义分析有极大的影响。

发明内容