[发明专利]一种对网络采集的域名数据进行筛选的方法及设备

摘要

本发明公开一种对网络采集的域名数据进行筛选的方法及设备，所述方法包括从网络中获取至少包含域名与IP地址的对应关系的域名数据；对域名数据进行筛选，并且保存经筛选的域名数据，其中，筛选包括以下步骤中的至少一项剔除包含异常噪音域名的域名数据；剔除包含需进行IP纠错的域名的域名数据；剔除包含恶意泛域名的域名数据；剔除包含不存在的域名的域名数据；剔除包含不存活域名的域名数据；保留包含属于指定地域的IP地址的域名数据。实现了通过网络采集流量数据获得准确的域名数据。

主权项

一种对网络采集的域名数据进行筛选的方法，其特征在于，包括：步骤1：从网络中获取至少包含域名与IP地址的对应关系的域名数据；步骤2：对域名数据进行筛选，并且保存经筛选的域名数据，其中，筛选包括以下步骤中的至少一项：步骤2‑1：剔除包含异常噪音域名的域名数据，异常噪音域名至少包括非法域名、IP格式域名、IP端口格式域名；步骤2‑2：剔除包含需进行IP纠错的域名的域名数据，需进行IP纠错的域名为拨测的结果为114跳转、无法解析出对应的IP地址且没有提供实际访问内容的域名；步骤2‑3：剔除包含恶意泛域名的域名数据，恶意泛域名为不正规、量大且杂乱无章、鲜有内容展示、且没有进行统计的意义的域名；步骤2‑4：剔除包含不存在的域名的域名数据，不存在的域名为无法解析出接入IP地址、且通过拨测确定其不存在接入IP地址的域名；步骤2‑5：剔除包含不存活域名的域名数据，不存活域名为无法解析出接入IP地址、且通过拨测确定其存在接入IP地址、而通过进一步模拟HTTP/HTTPS请求并且确定其HTTP/HTTPS响应的状态码不正确的域名；步骤2‑6：保留包含属于指定地域的IP地址的域名数据。