[发明专利]一种基于Web的域名数据获取方法

说明书

本发明公开了一种基于Web的域名数据获取方法。方案是构建由Web服务探测模块、Web页面获取模块、页面解析域名提取模块、域名和IP地址集映射模块组成的域名数据获取系统；Web服务探测模块采用网络扫描工具通过80和443端口扫描IPv4单播地址空间，建立80和443端口开放的IPv4地址列表；Web页面获取模块根据端口号和IPv4地址列表发送网页请求，获取页面信息，建立页面内容数据库；页面解析域名提取模块提取页面内容数据库中每个页面的每个链接，提取出域名，建立域名数据库；域名和IP地址集映射模块向域名服务系统发域名解析请求，获得域名数据库中每个域名和对应IP地址集。本发明可实现全球网站域名高效获取，降低流量开销，提高域名数据获取的广度和效率。

技术领域

本发明涉及计算机网络技术领域，特别涉及一种域名数据获取方法。

背景技术

域名数据是一种特殊的资源，可作为一些互联网企业、安全企业以及国家一些行业部门的重要数据资产，支撑发挥重要的网络服务保障和安全保障等作用。

然而，互联网的域名系统(DNS，Domain Name System)是一个分层分域分散管理的系统，域名数据分布于百万台以上的权威域名服务器中，由许许多多的组织或者机构分别管理和自己相关的部分。这些权威服务器通常并不开放域名数据传送权限。互联网中还有域名注册机构方便用户申请域名，它们往往并不开放注册域名列表访问权限。另一方面，在域命名空间中，域名按树形结构组织，这棵树可以在每个节点分出任意数量的分支，树的深度最多可达127层，树中的每个节点都有一个可能长达63个字符(包括字母和数字，不包括“.”号)的文本标签，因此，几乎不可能枚举巨大的域名空间。因此，如何在没有权威服务器的域名资源数据传送权限、没有域名注册机构的域名注册列表访问权限、巨大的域名空间不可枚举等约束条件下，获得比较齐全完备的域名数据成为当前面临的一个重要挑战性问题。

当前，根据已有研究(基于爬虫进行域名发现分析的研究与实现，孙涛，天津大学硕士学位论文，2016)，获取域名数据的方法目前主要有以下几种。

(1)通过配置流量测量设备，对于采集到的DNS报文进行分析，从而得到域名和其对应的IP地址。这种方法所能获取的数据量与流量测量设备部署的位置密切相关，只能获取流量测量设备能测量的链路中传输的域名数据，对于大量流量测量设备测量不到的链路(例如许多国外的网络链路)无能为力。

(2)通过解析DNS服务器日志获取域名及其对应IP地址信息。这种方式需要互联网基础运营商或者DNS服务器管理员的配合和协作，加之DNS服务器数量巨大，因此往往只能获取一小部分DNS服务器的日志，其余大量DNS服务器的日志难以获取。

(3)基于爬虫进行域名发现分析的方法。这种方法选取一些门户网站作为搜索源用以作为域名爬取的起点，对指定网站进行深层次抓取，所能获取的数据量依赖于搜索源的数量和质量等一系列不确定因素，很多域名数据难以获得。