[发明专利]一种基于扩展前缀树的私有协议报文格式推断方法

摘要

本发明提供一种基于扩展前缀树的私有协议报文格式推断方法，包括以下步骤：报文预处理、协议关键词提取、报文结构与语义推断、协议格式合并。本发明针对现有的基于网络流量的报文格式推断方法时间复杂度高、准确率偏低的问题，采用N‑gram分词方法，基于点间互信息准确判定私有协议中的协议关键词，以扩展前缀树描述报文所对应的协议关键词序列，实施分段的多序列比对，降低序列比对的计算开销，提高比对结果的准确性。此外，针对网络协议灵活性强的特点，通过有效的格式合并，减少冗余的报文格式，增强推断结果的实用性。

主权项

一种基于扩展前缀树的私有协议报文格式推断方法，其特征在于，包括步骤(1)至(4)：(1)报文预处理：从原始网络数据流中提取出所有报文，形成报文集合；(2)协议关键词提取：对报文集合中的每条报文进行N‑gram分词处理，得到所有在报文集合中出现过的长度为N的字符串；将在报文集合中出现的频率超过预设频率阈值的所有字符串选取出来作为候选关键词；采用点间互信息衡量相邻候选关键词的相关程度，将相关程度大于预设相关阈值的相邻候选关键词实施合并，合并的结果作为协议关键词；确定所有协议关键词后，将报文集合中的所有报文转换为协议关键词序列，使每个报文由其所包含的协议关键词表示；(3)报文结构与语义推断：构建扩展前缀树，按顺序将每个协议关键词序列中的协议关键词作为叶子节点插入扩展前缀树中；扩展前缀树中从起点开始到叶子节点结束的每条路径代表一种报文格式；确定扩展前缀树中的所有的边，并对每条边对应的报文片段采用Needleman‑Wunsch多序列比对算法进行比对，得到相应报文片段的格式信息；综合每条边的Needleman‑Wunsch多序列比对结果，得到扩展前缀树所包含的所有报文的格式信息；(4)协议格式合并：对步骤(3)获取的报文格式信息进行合并，包括：对字段前后位置可变的同类报文进行格式合并，以及对协议关键词属于枚举类型的同类报文进行格式合并。