[发明专利]一种对网络采集的域名数据进行筛选的方法及设备

权利要求书

1.一种对网络采集的域名数据进行筛选的方法，其特征在于，包括：

步骤1：从网络中获取至少包含域名与IP地址的对应关系的域名数据；

步骤2：对域名数据进行筛选，并且保存经筛选的域名数据，其中，筛选包括以下步骤中的至少一项：

步骤2-1：剔除包含异常噪音域名的域名数据，异常噪音域名至少包括非法域名、IP格式域名、IP端口格式域名；

步骤2-2：剔除包含需进行IP纠错的域名的域名数据，需进行IP纠错的域名为拨测的结果为114跳转、无法解析出对应的IP地址且没有提供实际访问内容的域名；

步骤2-3：剔除包含恶意泛域名的域名数据，恶意泛域名为不正规、量大且杂乱无章、鲜有内容展示、且没有进行统计的意义的域名；

步骤2-4：剔除包含不存在的域名的域名数据，不存在的域名为无法解析出接入IP地址、且通过拨测确定其不存在接入IP地址的域名；

步骤2-5：剔除包含不存活域名的域名数据，不存活域名为无法解析出接入IP地址、且通过拨测确定其存在接入IP地址、而通过进一步模拟HTTP/HTTPS请求并且确定其HTTP/HTTPS响应的状态码不正确的域名；

步骤2-6：保留包含属于指定地域的IP地址的域名数据。

2.根据权利要求1所述的对网络采集的域名数据进行筛选的方法，其特征在于，在步骤1之前还包括：

步骤3：在网络中的DNS服务器节点部署能够获取包含(源IP地址，源端口号，解析目标IP地址，端口号，CNAME)的五元组数据的检测设备，以及/或者在网络中部署能够获取包含(域名，源IP，目的IP)的活跃数据的EU采集设备。

3.根据权利要求1所述的对网络采集的域名数据进行筛选的方法，其特征在于，在步骤2之后还包括：

步骤4：将从人工上报IP地址库或第三方IP地址库和第三方接口查询中获得的域名的地域或归属地属性添加到域名数据中。

4.根据权利要求1至3中的任一项所述的对网络采集的域名数据进行筛选的方法，其特征在于，步骤2-3包括：

步骤2-3-1：针对域名选择下列各项中的至少一项进行统计，并且为所选各项分配权重：短时间内产生的域名的数量、域名访问时间的集中程度与域名访问量的比值、域名访问中的源IP地址的重复数量、该域名的网站返回的内容的一致性、该域名的网站返回空内容的比率；

步骤2-3-2：将所选各项的加权值的求和结果大于设定阈值的域名确定为恶意泛域名，并且剔除包含该恶意泛域名的域名数据。

5.一种对网络采集的域名数据进行筛选的设备，包括存储器、一个或多个处理器；以及

一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，以完成根据权利要求1至4中的任一项所述的对网络采集的域名数据进行筛选的方法中的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行以完成根据权利要求1至4中的任一项所述的对网络采集的域名数据进行筛选的方法中的步骤。