[发明专利]一种基于网络爬虫的土壤污染场地环境信息采集方法

权利要求书

1.一种基于网络爬虫的土壤污染场地环境信息采集方法，其特征在于，所述方法包括如下步骤：

S1利用网络爬虫从多个初始URL开始下载网页内容，通过搜索策略获取网页中与土壤场地环境主题相关的数据，同时不断从当前页面提取新的URL，根据网页抓取策略放入待抓取URL队列中，循环执行，直至停止，循环结束，其中，土壤场地环境主题相关的数据包括土壤环境检测数据或/和土壤环境污染源信息；

S2将S1中获取的网页中与土壤场地环境主题相关的数据进行清洗和整理，并建立索引存入数据库中；

S3从地理信息服务器中获取空间地理数据；

S4通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；

S5将获取的网络土壤污染场地环境信息数据表格转化到格式化数据库中，供相关用户日后的检索与分析使用。

2.根据权利要求1所述的基于网络爬虫的土壤污染场地环境信息采集方法，其特征在于，所述步骤S1还包括：

S1.1启动网络爬虫程序，选取多个初始URL，并将其放入待抓取URL队列中；

S1.2从待抓取URL队列中取出某个URL，并下载该URL对应的网页内容，然后将该URL放入到已抓取URL队列；

S1.3通过搜索获取网页内容中与生态环境主题相关的数据，判断获取的数据是否已被历史获取，若是则丢弃该数据和网页内容，若否则缓存该数据，丢弃网页内容，同时解析该网页中所包含的URL，判断该URL是否是已抓取URL队列中所包含的URL，若是，则丢弃，若否，则将其放入待抓取URL队列中；

S1.4循环执行S1.2-S1.3，直至待抓取URL队列中的所有URL被完全抓取，或系统命令停止抓取，循环结束。

3.根据权利要求1所述的基于网络爬虫的土壤污染场地环境信息采集方法，其特征在于，所述土壤场地环境主题为土壤场地环境关键词集，其获取过程为：定期地从学术论文网站上获取论文，并将新获取的论文保存在语料库中；对语料库中各篇论文的词语集进行数值化处理；将数值化处理结果作为训练样本导入Word2Vec模型进行训练，得到各个词语的词向量；针对每个词语，分别根据词向量计算该词语与其它各个词语的欧式距离或向量夹角，然后根据计算结果选取欧式距离最近或向量夹角最小的前N个其它词语作为相关词语，得到相关词语集，其中，N为介于20～100之间的自然数；将词语为“土壤污染场地环境”的相关词语集作为土壤污染场地环境关键词集。