[发明专利]一种基于域名推荐的网站发现方法和系统

说明书

本发明涉及一种基于域名推荐的网站发现方法，包括：在域名字符集随机选取任意字符排列组合以获得词根字符串；以该词根字符串组成候选字符串；将该候选字符串与候选域名后缀进行拼接，组成推荐域名；对该推荐域名进行DNS解析，以判断为合法的该推荐域名为合法域名；验证该合法域名是否存在对应网站，若存在则获取为目标网站。

技术领域

本发明属于互联网资源发现领域，尤其涉及基于域名推荐的网站发现技术。

背景技术

随着互联网的不断发展和演化，出现了各种类型的网站，出于监管或搜索的需要，需要找到更多的网站域名，在这里的网站域名主要是一级域名，指在顶级域名前只有一个非顶级域名的域名，如sina.com.cn，cnn.com等。

传统方法通常采用蔓延的方法，来发现更多域名，蔓延方法包括：采集网站的数据并从中提取更多的URL(Uniform Resource Locator，统一资源定位符)，将提取到的URL与已获知的域名进行查重，以获取更多的域名。除此以外还有一些基于网络截获的域名发现方法。中围国家专利“一种基于多路数据接入方式的未备案网站探寻方法及系统”，申请号201410299875.6，采用多路数据接入方式获取域名，筛选出未备案域名形成域名种子库；对未备案域名进行DNS解析，获取对应的IP地址；定位IP地址，得出未备案域名库；通过活动性验证得出未备案网站信息。

以上方法都是相对被动的方法，只有这些域名出现在已采集网页中，或者出现在截获数据流中，才会被获取。对于一些相对孤立的网站，则很难获取，例如一些个人博客网站，就可能由于链入网站太少而基本很难被发现。

发明内容

针对上述问题，本发明提出一种基于域名推荐的网站发现方法，包括：在域名字符集随机选取任意字符排列组合以获得词根字符串；以该词根字符串组成候选字符串：将该候选字符串与候选域名后缀进行拼接，组成推荐域名；对该推荐域名进行DNS解析，以判断为合法的该推荐域名为合法域名；验证该合法域名是否存在对应网站，若存在则获取为目标网站。

本发明所述的网站发现方法，其中以该词根字符串为该候选字符串，或将该词根字符串与前缀字符串和/或后缀字符串拼接为该候选字符串。

本发明所述的网站发现方法，其中获取所有已知域名中，具有M个字符长度的字符串A1出现在该已知域名前缀位置的频率S1，若S1＞m·S，则以字符A1为该前缀字符串；获取所有该已知域名中，具有M个字符长度的字符串A2出现在该已知域名后缀位置的频率S2，若S2＞m·S，则以字符A2为后缀字符串；其中S＝1/K^M，K为该域名字符集中字符的个数，M为正整数，m为预设值，2≤M≤4，m＞1。

本发明所述的网站发现方法，其中从该域名字符合集中，选取任意个字符进行排列组合以生成多个字符串，以字符长度为N的该字符串为该词根字符串；其中N为正整数，1≤N≤10。

本发明还涉及一种基于域名推荐的网站发现系统，包括：

词根字符串模块，用于在域名字符集随机选取任意字符排列组合以获得词根字符串；

候选字符串模块，用于以该词根字符串组成候选字符串；

域名生成模块，用于将该候选字符串与候选域名后缀进行拼接，组成推荐域名；

域名验证模块，用于对该推荐域名进行DNS解析，以判断为合法的该推荐域名为合法域名；

网站获取模块，用于验证该合法域名是否存在对应网站，若存在则获取为目标网站。

本发明所述的网站发现系统，其中所述候选字符串模块还包括：第一候选字符串模块，用于以该词根字符串为该候选字符串；第二候选字符串模块，用于将该词根字符串与前缀字符串和/或后缀字符串拼接为该候选字符串。