[发明专利]一种分布式的互联网重要地址空间检索系统

摘要

本发明公开了一种分布式的互联网重要地址空间检索系统，用于防范针对网站组件和主机设备的漏洞攻击，维护互联网安全。通过系统管理模块导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分运行状态并进行管理和控制；通过网站信息收集模块对待扫描网站列表中的域名或IP地址进行页面爬取、网站组件识别、主机扫描、端口探测；通过数据库模块保存待扫描网站列表、网站组件指纹、扫描策略以及扫描结果；通过检索和统计模块对保存的扫描结果进行关键字检索，并对检索结果进行统计分析；通过WebUI模块提供用户和系统交互的Web界面。有效组织和合理配置系统资源，并对所有功能部件进行动态管理和使用。

主权项

1.一种分布式的互联网重要地址空间检索系统，其特征在于，包括：系统管理模块、网站信息收集模块、数据库模块、检索和统计模块、WebUI模块；/n所述系统管理模块，用于导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分的运行状态并分别对各部分的运行状态进行管理和控制，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；/n所述网站信息收集模块，用于针对所述待扫描网站列表中的域名或IP地址进行Web页面爬取、Web组件识别、网站服务器主机扫描、端口探测；/n所述数据库模块，用于保存所述待扫描网站列表、所述网站组件指纹、扫描策略以及扫描结果；/n所述数据库模块包括：元信息数据库模块、组件指纹数据库模块、扫描结果数据库模块；/n所述元信息数据库模块，用于管理所述待扫描网站列表，其中，所述待扫描网站列表包括需要周期性扫描的网站的信息；/n所述组件指纹数据库模块，用于存储所述网站组件指纹，其中，所述网站组件指纹包含组件名称、组件特征集合和组件识别规则；/n所述扫描结果数据库模块，用于存储所述网站信息收集模块收集到的扫描结果，其中，所述扫描结果包括周期性扫描作业的执行结果和即时扫描任务的执行结果；/n所述检索和统计模块，用于对保存在所述数据库模块中的扫描结果进行关键字检索，并对检索结果进行统计分析；/n所述WebUI模块，用于提供Web界面，采用B/S模式完成用户和系统的交互，提供系统管理、网站组件指纹更新、即时扫描任务提交、扫描结果查询与统计、信息导入导出功能；/n所述网站信息收集模块包括分析识别模块；所述分析识别模块，用于根据所述组件指纹数据库模块中的组件特征集合以及组件识别规则，对数据爬取模块爬取的信息进行分析整理，将得到的网站内容信息、网站组件信息以及用以识别出网站组件的特征数据存入所述扫描结果数据库模块；/n所述分析识别模块中的分析识别过程包含被动检测和主动分析两个阶段，在分析识别过程中，所述分析识别模块，具体用于首先从所述组件指纹数据库模块中读取组件特征集合，然后确定从目标站点下载内容的目标URL和发送的探测IP报文，接着向目标URL发送GET请求或向网站主机发送探测IP报文，获得从网站主机返回的数据，通过分析HTTP响应或者回送IP报文判断是否检测出组件的各个特征，最后根据检测出的特征集合和匹配规则判断目标站点是否使用了该网站指纹组件；/n在被动检测阶段，所述分析识别模块根据已下载的Web内容的HTTP响应头、响应主体推断网站采用的Web组件；所述响应主体包括HTML文本、图片；/n在主动分析阶段，所述分析识别模块制造特定的URL与Web服务器交互，通过对Web服务器返回的信息来推断其使用的Web组件。/n