[发明专利]基于Internet论坛的网络实体城市级地标挖掘算法

说明书

技术领域

本发明涉及信息安全技术领域，尤其涉及一种基于Internet论坛的网络实体城市级地标挖掘算法。

背景技术

IP定位，即获取IP地址与其地理位置的映射关系。IP定位服务越来越受到政府机关、商业公司、和个人的关注。掌握IP的地理位置可以高效的为用户提供各种个性化服务，如向指定区域的用户推送当地天气预报和自然灾害预警、当地新闻、本土化文字和货币符号等，广告商可以向指定区域推送广告等。IP定位服务也可以为区域版权保护提供支持，如电视节目、广播、数字音像等提供区域限制（只在法律允许的区域内下载、复制和传播），还可以为国家维稳提供技术支持，如限制谣言和恶意信息在互联网的传播范围，实施区域性断网等。

基于地标的IP定位技术是获取IP地理位置较为可靠的方式之一。但是，批量获取地标以及有效对地标评估仍是一个挑战。

目前，地标挖掘的相关文献多是基于Web的地标挖掘方法，这种方法获取的地标数量有限，且地标的可靠性也不能得到保证。然而，基于Web的地标挖掘方法，由于Web服务器存在主机托管、共享主机以及CDN网络等问题，Web网页中提取的地理位置与Web服务器的真实地理位置并不能保证一一对应。虽然，已有方法对存在这些问题的地标进行验证与筛选，但效果并不理想。

发明内容

本发明的目的是提供一种基于Internet论坛的网络实体城市级地标挖掘算法，能够将用户的动态IP纳入地标的采集范围，显著地提高了地标采集的数量，并通过地标验证算法对候选地标评估，提高地标的可靠性。

本发明采用下述技术方案：一种基于Internet论坛的网络实体城市级地标挖掘算法，包括以下步骤：

步骤一、获取候选地标，具体如下：

（11）、选择地标挖掘的Internet论坛，获取该Internet论坛的所有HTML页面；

（12）、从步骤（11）中得到的所有HTML页面中提取出所有的IP地址段；

（13）、去除步骤（12）得到的所有的IP地址段中重复的IP地址段；

（14）、将步骤（13）得到的IP地址段通过与多个互联网公开的IP定位数据库查询比较，筛选出所有与IP定位数据库地理位置一致的IP地址段；

（15）、将步骤（14）得到的IP地址段与论坛隐含的地理位置信息比较，保留地理位置一致的IP地址段为最终的候选地标集合；

步骤二、对候选地标集合进行评估，具体如下：

（21）、获取最接近目标IP的路由器，用下述的改进GeoTrack算法对最终的候选地标集合中的候选地标逐个验证：若最接近目标IP的路由器隐含地理位置信息，进入步骤（22）；若最接近目标IP的路由器未隐含地理位置信息，进入步骤（23）；

（22）、推测出最接近目标IP的路由器的地理位置，并与候选地标比较，将地理位置一致的候选地标存入地标库；

（23）、首先获取最接近目标IP的路由器的IP地址，通过查询多个互联网公开的IP定位数据库得到IP地址的地理位置并与候选地标比较，将地理位置一致的候选地标存入地标库；

步骤三、得到的地标库即为网络实体城市级地标。

所述的步骤（11）中选择地标挖掘的Internet论坛是选择区域性、含有城市关键字以及人口流动较小的论坛。

所述的步骤（11）中获取该Internet论坛的所有HTML页面是通过网页爬虫方法获得。

所述的步骤（12）中提取出所有的IP地址段是通过正则表达式进行提取，正则表达式如式（1）：

(1)

式（1）中：25[0-5]可匹配的范围是250~255，/d等价于[0-9]，则2[0-4]/d可匹配的范围是200~249，{2}表示重复2次，则1/d{2}可匹配的范围是100~199，?表示前一个字符出现0次或1次，则[1-9]?/d可匹配的范围是0~99，/表示匹配原义字符，则/.表示匹配IP分隔字符· ，/*表示匹配的IP地址第四字段为*号；| 表示关系“或”，(?:)表示非获取匹配。

本发明所述的基于Internet论坛的网络实体城市级地标挖掘算法具有以下有益效果：