[发明专利]一种基于倒排索引的互联网资产指纹识别方法与系统

说明书

本发明提供了一种基于倒排索引的互联网资产指纹识别方法与系统，本发明通过倒排索引对互联网资产指纹进行识别，将key‑va l ue的形式转变为va l ue‑key的倒排形式，然后排序va l ue键名，合并相同键名，靠拢相似键名，以提取资产指纹的共性和个性特征，并依据特征，进行三元组、负载大小、协议特征、内容字符多模匹配、pcre正则匹配、优先级累加、匹配分值累加等匹配核对，以标记和分类获取的指纹资产，形成资产匹配识别规则，方便提取互联网资产的属性特征，简洁高效，采用引擎匹配规则的方式灵活方便，有效提高识别效率和速度。

技术领域

本发明涉及网络资产探测技术领域，特别是一种基于倒排索引的互联网资产指纹识别方法与系统。

背景技术

国内网络安全专用搜索引擎的相关研究以知道创宇公司开发的ZoomEye搜索引擎和白帽汇的Fofa为代表。ZoomEye搜索引擎在Nmap的基础上,开发了Web指纹识别引擎Wmap,并依托其后台的大数据存储处理平台,为用户提供了设备指纹、Web服务等的搜索功能。ZoomEye的核心作用是针对全球网络空间基础设施、网络设备进行指纹的扫描和存储，输出检索功能。

而现有的ZoomEye搜索引擎和白帽汇的Fofa都是基于搜索引擎，对互联网指纹强调扫描、收集、存储和查找、统计、排序等，不进行加工识别。

发明内容

本发明的目的是提供一种基于倒排索引的互联网资产指纹识别方法与系统，旨在解决现有技术中无法识别种类繁多的应用版本的问题，实现提高互联网资产的识别效率和速度。

为达到上述技术目的，本发明提供了一种基于倒排索引的互联网资产指纹识别方法，所述方法包括以下操作：

对互联网资产指纹进行响应头提取，对响应头中字段进行拆解，以倒排索引形式，排序键名，合并相同键名，靠拢相似键名，提取资产指纹的特征；

根据资产指纹特征，进行三元组、负载大小、协议特征、内容字符多模匹配、pcre正则匹配、优先级累加、匹配分值累加匹配核对，标记和分类获取的指纹资产，形成资产匹配识别规则。

优选地，所述倒排索引形式为将key-value的形式转变为value-key的倒排形式。

优选地，所述资产匹配识别规则为json格式，规则库中一行书写一条规则，注释行首书写一个或多个#。

优选地，所述资产匹配识别规则中多条规则可匹配同一条资产指纹，如任一输出字段没有匹配到，则不论优先级会先填空值，然后同一优先级、同一类型复合相加。

本发明还提供了一种基于倒排索引的互联网资产指纹识别系统，所述系统包括：

倒排索引模块，用于对互联网资产指纹进行响应头提取，对响应头中字段进行拆解，以倒排索引形式，排序键名，合并相同键名，靠拢相似键名，提取资产指纹的特征；

资产匹配模块，用于根据资产指纹特征，进行三元组、负载大小、协议特征、内容字符多模匹配、pcre正则匹配、优先级累加、匹配分值累加匹配核对，标记和分类获取的指纹资产，形成资产匹配识别规则。

优选地，所述倒排索引形式为将key-value的形式转变为value-key的倒排形式。

优选地，所述资产匹配识别规则为json格式，规则库中一行书写一条规则，注释行首书写一个或多个#。

优选地，所述资产匹配识别规则中多条规则可匹配同一条资产指纹，如任一输出字段没有匹配到，则不论优先级会先填空值，然后同一优先级、同一类型复合相加。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：