[发明专利]一种分布式的Web组件服务探测系统

说明书

本发明公开一种分布式的Web组件服务探测系统，包括：分布式调度模块，用于提交和管理探测作业，查看任务的完成进度，管理系统中各个节点的资源，并对作业进行任务分片，均衡的调度分配到各个计算节点，保证计算任务的容错；爬虫模块，用于对任务队列中的任务分片进行站点HTML页面内容的爬取；Web服务器识别模块，用于探测识别Web站点所用的Web服务器的类型和版本信息；Web组件指纹识别模块，用于识别站点使用的应用组件的类型、名称以及版本信息；主机服务探测模块，用于探测识别站点主机的操作系统类型及版本、所开放的常用端口服务等信息。本发明可以有效的防范针对网站组件和主机服务的漏洞攻击，维护互联网安全。

技术领域

本发明涉及互联网安全技术领域，更具体地，涉及一种分布式的Web组件服务探测系统。

背景技术

随着互联网的快速发展，Web网站的规模、数量和多样性也在以惊人的速度增长。海量的Web服务、丰富的开源组件、大规模的服务器，为人们的生活带来了极大的便利。但是，这些Web组件和服务器同时也存在的漏洞和安全隐患，它们像一颗定时炸弹，给网络空间安全，尤其是Web安全带来了极大的威胁。

因此，我们需要有一些技术和手段，来对Web应用组件和服务器进行全面的扫描检测，以便做出及时的防护应对措施，减少因为服务组件及服务器的漏洞对系统造成的危害，维护互联网的安全。而许多互联网公司针对这个问题，提出了一些解决方案。如国外的Shodan可以在全球进行IP地址查询和网络设备探测。国内互联网安全厂商知道创宇公司创建的Zoomeye、佛法是一个针对网络空间中硬件设备和Web服务而制作的搜索引擎。它们侧重于发现网络设备和Web服务，很好的解决了一部分问题，也突出了网络资源探测的重要性和紧迫性。

针对于纯粹的Web应用组件识别，主要是提供单个网站域名。然后探测发现其使用了哪些具体的应用组件，比较常用的是WhatWeb和Wappalyzer这两款Web组件识别工具。它们主要是抓取单个页面的内容，分析其Banner信息和重要的关键字信息，与组件库进行正则匹配，识别出站点的Web服务器和组件。但是由于Banner信息和关键字信息很容易被篡改，导致识别准确率低，组件漏识现象严重。

针对主机服务扫描，主要是根据IP地址探测获取主机的基本信息，目前比较常用的是一款全网IPv4地址扫描工具——ZMap，单机扫描速度比Nmap快1300多倍，它能够通过一台机器在45分钟内扫描互联网上所有的IPv4地址空间，其扫描的结果达到了98％的覆盖率。

但是现有的系统或者工具存在着如下几点问题：

(1)对Web站点服务器的探测识别主要是根据响应报文的Banner信息来判别，对于Banner信息被修改、掩饰、缺失的情况，很难准确的识别Web服务器的类型和版本信息。

(2)对Web应用组件的指纹识别，主要是通过关键字信息静态匹配识别，虽然速度快，但对于组件关键字被修改或者缺失的情况，就无法做出准确辨别，并且对于比较底层的Web开发框架，也很难发现识别，存在大量组件误识和漏识的情况。

(3)传统的对于Web组件或者主机服务的甄别，主要是侧重于其中一方。但实际上，Web站点是由服务器和Web应用两部分组成的，主机服务或者Web组件存在漏洞都会严重影响Web站点的安全。现有的系统没有将两者的信息很好的结合在一起，全面准确的反映Web站点的信息。

(4)现在的系统和工具大多都是单机，计算效率和能力比较有限，还没有一个定制化的、高效的分布式计算框架，能够在有限时间内对海量Web站点组件进行探测分析，并统计挖掘其中的潜在价值，形成有意义的报告，以便于管理员维护和决策。

发明内容

针对现有技术的缺陷，本发明的目的在于解决解决现有的Web组件服务探测系统不能准确识别Web服务器、应用组件，没有综合考虑Web组件和主机服务之间的相互作用和影响，不能并行的探测分析出海量Web站点的组件信息等技术问题。