[发明专利]基于检索词与空间范围的深网POI数据获取方法及系统

摘要

本发明公开了一种基于检索词与空间范围的深网POI数据获取方法及系统，方法包括以下步骤：S1，生成潜在检索词并构建潜在检索词集合；S2，利用贪婪式查询策略构建倒排索引表；S3，生成基于重复覆盖迭代计算的检索词序列；S4，基于POI数据类别进行分治化创建爬取任务；S5，基于地理范围剖分策略进行深网POI数据爬行。系统包括潜在检索词集合构建模块、倒排索引表构建模块、检索词序列生成模块、爬取任务创建模块和深网POI数据爬行模块。本发明实现了对深网POI数据的全量获取，并确保在尽量小的检索词集合的情况下，使得爬行的深网POI数据达到最大的覆盖率。

主权项

1.一种基于检索词与空间范围的深网POI数据获取方法，其特征是，包括以下步骤：S1，生成潜在检索词并构建潜在检索词集合：通过整理地理信息网站POI数据的分类目录获得分类名词、采用特征词抽取算法从POI样本库中提取类别特征词，以及对分类名词和类别特征词的同义词补充，生成潜在检索词，并将生成的潜在检索词存入构建的潜在检索词集合中；S2，利用贪婪式查询策略构建倒排索引表；对每个潜在检索词构建深网POI数据查询请求，通过记录各检索词的检索历史形成检索记录表，并在检索记录表基础上构建检索倒排索引表；S3，生成基于重复覆盖迭代计算的检索词序列：按照POI数据的既有分类，通过不断调整重复覆盖率阈值，多次迭代计算对应于各类POI数据爬行的检索词集合，生成检索词序列；S4，基于POI数据类别进行分治化创建爬取任务：按照POI数据类别对爬行任务进行划分，对每一个任务分支，从优化的检索词集合中查询出对应类型的检索词序列，按照序列中各成员的有效覆盖率排序，顺次创建对应于每个检索词的深网POI数据爬取任务；S5，基于地理范围剖分策略进行深网POI数据爬行：在检索过程中，检索词在某一区域所能返回的最大记录是受限的则对该区域进行地理范围剖分，并变更爬行任务进行信息检索与获取。