[发明专利]一种基于网络爬虫的土壤污染场地环境信息采集方法

说明书

本发明公开了本发明公开一种基于网络爬虫的土壤污染场地环境信息采集方法，利用网络爬虫从多个初始URL开始下载网页内容，通过搜索策略获取网页中与土壤场地环境主题相关的数据，同时不断从当前页面提取新的URL，根据网页抓取策略放入待抓取URL队列中，循环执行，直至停止，循环结束，其中，土壤场地环境主题相关的数据包括土壤环境检测数据或/和土壤环境污染源信息；获取的网页中与土壤场地环境主题相关的数据进行清洗和整理，并建立索引存入数据库中；从地理信息服务器中获取空间地理数据；将获取的网络土壤污染场地环境信息数据表格转化到格式化数据库中，供相关用户日后的检索与分析使用。

技术领域

本发明属于空间数据集成领域，具体涉及一种基于网络爬虫的土壤污染场地环境信息采集方法。

技术背景

大数据是以容量大、类型多、存取速度快、应用价值高为主要特诊的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态，全面推进大数据发展和应用，加快建设数据强国。《促进大数据发展行动纲要》等文件要求推动信息系统和公共数据互联共享，促进大数据在各行业创新应用；运用现代信息技术加强公共服务和市场监管，推动简政放权和职能转变，构建“互联网+”绿色生态，实现生态环境数据互联互通和开放共享。

传统的土壤污染场地环境信息数据收集与检索工作通常依靠人工完成。通过人工采集与整理的土壤污染场地环境信息数据往往具有精度高、数据格式规整、可信程度高，但数据量小、来源单一、时效性较差的特点。与此相对应，网络土壤污染场地环境信息数据量大、来源广泛、时效性强，但数据格式复杂多变，收集和整理网络土壤污染场地环境信息数据需要耗费大量的人力。因此，传统的人工数据采集与整理方法不适用于网络土壤污染场地环境信息。

发明内容

为了克服现有技术存在的缺点和不足，本发明提供了一种基于网络爬虫的土壤污染场地环境信息采集方法，通过网络爬虫自动从网页上提取与关键词土壤污染场地环境数据表格，并将网络土壤污染场地环境数据表格转化到格式化数据库中。

为了实现上述目的，本发明采用的技术方案如下：

一种基于网络爬虫的土壤污染场地环境信息采集方法，所述方法包括如下步骤：

S1利用网络爬虫从多个初始URL开始下载网页内容，通过搜索策略获取网页中与土壤场地环境主题相关的数据，同时不断从当前页面提取新的URL，根据网页抓取策略放入待抓取URL队列中，循环执行，直至停止，循环结束，其中，土壤场地环境主题相关的数据包括土壤环境检测数据或/和土壤环境污染源信息；

S2将S1中获取的网页中与土壤场地环境主题相关的数据进行清洗和整理，并建立索引存入数据库中；

S3从地理信息服务器中获取空间地理数据；

S4通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；

S5将获取的网络土壤污染场地环境信息数据表格转化到格式化数据库中，供相关用户日后的检索与分析使用。

需要说明的是，所述步骤S1还包括：

S1.1启动网络爬虫程序，选取多个初始URL，并将其放入待抓取URL队列中；

S1.2从待抓取URL队列中取出某个URL，并下载该URL对应的网页内容，然后将该URL放入到已抓取URL队列；

S1.3通过搜索获取网页内容中与生态环境主题相关的数据，判断获取的数据是否已被历史获取，若是则丢弃该数据和网页内容，若否则缓存该数据，丢弃网页内容，同时解析该网页中所包含的URL，判断该URL是否是已抓取URL队列中所包含的URL，若是，则丢弃，若否，则将其放入待抓取URL队列中；