[发明专利]一种基于Web地图的网络实体地标自动挖掘方法

说明书

技术领域

本发明涉及一种基于Web地图的网络实体地标自动挖掘方法，属于网络应用技术领域。

背景技术

网络实体地标采集是一种重要的网络应用新技术，能够给出具有一定密度的地理位置较为稳定的网络节点以某种粒度表示的地理位置信息。在面向位置服务的诸多应用中，如根据用户的地理位置提供针对所在区域人群的定向广告、基于访问者的地理位置自适应调整网站显示语言等，都必须已知具有一定密度的网络实体参考地标，才能进一步对位置未知的网络实体实施定位。因此，开展网络实体地标采集技术具有重要的研究意义。

现有网络实体地标的研究可分为两类：一类是主动地标，一类是被动地标。早期主要是主动部署地标的方法，即通过人为部署机器，或在全球范围基于相关协作机构的服务器系统，得到位置分布较为均匀的、地理位置精确的地标，如PlanetLab，此类方法获得的地标位置准确、但数量有限，就全球的网络实体定位问题而言，由于这些地标的密度过低，用作网络实体定位的参考地标，得到的定位结果精度差。被动地标，即将互联网中的基础设施，如路由器、Web服务器或Email服务器等作为地标，获得的地标，数量大、分布广，在具有较好验证手段的情况下，得到的地标位置准确，可以大大提高网络实体定位结果的精度。而目前被动地标采集方法首先是获取到候选地标的域名，并对采集到的候选地标进行有效性验证，以排除非托管主机和IP承载多域名等情况；在域名获取方面，主要依赖Web地图提供的信息提取候选地标域名，在候选地标验证方面，采用网页重定向或根据相同域名排除无效地标，该方法不能很好地评估不支持IP访问网站以及IP承载多域名的候选地标的有效性，导致获取的网络实体地标位置不够准确。

发明内容

本发明的目的是提供一种基于Web地图的网络实体地标自动挖掘方法，以解决传统人工标注或获取地标信息方法带来的地标密度不高、地理位置精度不够的问题。

本发明为解决上述技术问题而提供一种基于Web地图的网络实体地标自动挖掘方法，该采集方法包括以下步骤：

1)依据不同的Web地图获取各地区的特定类型机构的信息作为候选地标，并获取候选地标机构的主页域名；

2)根据候选地标机构主页域名中的一级域名采用域名解析得到机构Web服务器的IP地址；

3)根据候选地标Web服务器的域名及其IP地址分别进行网页访问，判断上述两种方式下的网页访问是否一致、是否有重定向，若一致、无重定向，则将该候选地标作为有效地标；

4)否则，利用Web中提供的IP地址进行反向查询，根据候选地标IP地址反向查询结果计算候选地标的可信度；

5)选取可信度大于设定值的候选地标作为有效地标，该有效地标即是要挖掘的网络实体地标。

所述步骤4)中候选地标可信度所采用的计算公式为：

其中R为所求可信度，R₀为采用最可信的网站进行IP地址反向查询得到基本可信度，R_i(i≥1)为采用其它网站进行IP地址反向查询得到基本可信度，K为可信度评估时所使用的除最可信的网站以外的其他IP反向查询网站的个数，α为权重因子。

所述步骤4)中候选地标的基本可信度由IP地址反向查询得到的域名个数来确定，候选地标的基本可信度与IP地址反向查询得到的域名个数成反比。

所述可信度计算公式中α取值范围为0.7～0.9。

所述步骤1)中特定类型机构指的是Web地图中作为地标可能性高的类型。

所述候选地标机构的主页域名根据候选地所在地采用不同方式获取，非中国大陆地区的机构主页域名是利用Google地图返回的连接码和Google地图中的Place API获取的，大陆地区的机构主页域名是利用搜索引擎获取的。

所述利用搜索引擎获取机构域名的过程如下：

a.将机构名作为搜索关键词，向搜索引擎提交查询请求；

b.解析搜索引擎返回的查询结果，提取前M个查询结果URL(M通常设置为10)；

c.利用URL黑名单过滤掉这M个URL中的非机构主页URL；

d.获取剩余URL对应的网页Title，通过比对Title与机构名的匹配程度来筛选出排序靠前、匹配度高的URL作为机构的主页；

e.若剩余URL的匹配度均较低，则机构主页获取失败；

f.对于分析出机构WWW主页的情况，利用URL中的一级域名提取出机构Web服务的域名。

所述步骤5)中的设定值为0.8。