[发明专利]一种域名收集方法、装置、设备及计算机可读存储介质

说明书

本申请涉及一种域名收集方法、装置、设备及计算机可读存储介质，属于通信技术领域，其包括实时接收初始域名信息；对所述初始域名信息进行扩充，得到一个或多个相关域名；逐个判断相关域名对应的网页是否为开放网页，若为开放网页，则获取开放网页的页面响应信息，并将页面响应信息储存至数据存储区；若为未开放网页，则对相关域名进行解析，得到IP地址，并绑定相关域名与IP地址，将相关域名与IP地址的绑定关系储存至数据存储区；对于开放网页储存页面响应信息，对于未开放网页储存相关域名与IP地址的对应关系，从而不易由于域名对应的网页未开放而造成域名的丢弃、遗漏域名，本申请具有便于较为全面的收集域名的效果。

技术领域

本发明涉及通信技术领域，尤其是涉及一种域名收集方法、装置、设备及计算机可读存储介质。

背景技术

域名系统（Domain Name System）用于命名从组织到域等层次结构中的计算机和网络服务。DNS服务器可以为客户端提供域名解析服务，将客户端输入的域名解析为该域名对应的IP地址，进而客户端可以利用所述IP地址访问所述域名对应的网站。

相关技术中，通常利用域名采集爬虫对域名进行收集，网络爬虫是捜索引擎抓取系统的重要组成部分，爬虫的主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份，在收集域名时，域名采集爬虫能够根据网页内容将相关域名或子域名抓取存储在本地。

针对上述中的相关技术，发明人发现：利用网络爬虫抓取域名容易出现遗漏的情况，对于未开放网页，域名采集爬虫无法获取数据，也就无法进行域名的收集，导致了对域名收集时存在局限。

发明内容

为了便于较为全面的收集域名，本申请提供了一种域名收集方法、装置、设备及计算机可读存储介质。

第一方面，本申请提供的一种域名收集方法，采用如下的技术方案：

一种域名收集方法，包括实时接收初始域名信息；

对初始域名信息进行扩充，得到一个或多个相关域名；

逐个判断相关域名对应的网页是否为开放网页，若为开放网页，则获取开放网页的页面响应信息，并将页面响应信息储存至数据存储区；若为未开放网页，则对相关域名进行解析，得到IP地址，并绑定相关域名与IP地址，将相关域名与IP地址的绑定关系储存至数据存储区。

通过采用上述技术方案，在对初始域名信息进行扩充后，逐个判断相关域名对应的网页是否为开放网页，若为开放网页则能够直接从开放网页中获取页面响应信息，对页面响应信息进行储存，若为未开放网页，则解析出相关域名对应的IP，将相关域名与IP地址的绑定关系进行储存；从而对于相关域名真实存在，但未开放网页的这部分相关域名，不会直接丢弃，而是绑定IP地址与相关域名进行储存，进而实现了对初始域名信息的相关域名收集较为全面的效果。

可选的，所述将页面响应信息储存至数据存储区之后还包括：

判断所述页面响应信息中是否包含页面域名信息，若是，则将页面域名信息设置为初始域名信息。

通过采用上述技术方案，若页面响应信息中包含页面域名信息，将页面域名信息设置为初始域名信息，对页面域名信息进行再一次的扩充、储存，从而便于再次收集与初始域名信息相关的所有域名。

可选的，所述绑定相关域名与IP地址，将相关域名与IP地址的绑定关系储存至数据存储区具体包括：

判断IP地址是否存在开放的端口；若是，将相关域名与IP地址的端口绑定，并将相关域名与IP地址端口的绑定关系储存至数据存储区；若否，将相关域名与IP地址绑定，并将相关域名与IP地址的绑定关系储存至数据存储区。

通过采用上述技术方案，若与相关域名对应的IP地址中存在开放的端口，将相关域名与IP地址的端口绑定，并将相关域名与IP地址的绑定关系储存在数据存储区中，若与相关域名对应的IP地址中没有开放的端口，则直接将相关域名与IP地址的绑定关系储存至数据存储区中，实现了对未开放网页的相关域名进行储存。