[发明专利]一种聚焦网络爬虫自适应爬取方法

权利要求书

1.一种聚焦网络爬虫自适应爬取方法，其特征在于，包括以下步骤：

步骤1：使用HTTP库对url库中的url发起请求，并运用解析工具解析响应内容；

步骤2：运用数据爬取方法提取解析响应内容所得到的数据中的页面内的全部文本，将提取到的全部文本以HTML标签为分界分段缓存；

步骤3：根据步骤三提取到的全部文本和待爬取字段，确定主题关键词集合；

步骤4：设定待爬取字段的附带限制条件，剔除不符合该待爬取字段附带条件的文本，保留符合的文本；

步骤5：该待爬取字段的主题关键词集合依次与符合条件的文本内容做主题相关度检测；

步骤6：设定主题相关度阈值，对达到阈值且主题相关度最高的文本内容进行存储；

步骤7：再爬取下一字段，重复步骤4-6，直到爬取全部字段；

步骤8：重复步骤1-7，直到爬取完所有目标url，完成对批量不同排版的网页中的信息获取。

2.根据权利要求1所述的一种聚焦网络爬虫自适应爬取方法，其特征在于，步骤3中，主题关键词集合的确定与待爬取内容贴近，且与其他信息有较明显的区分。

3.根据权利要求1所述的一种聚焦网络爬虫自适应爬取方法，其特征在于，步骤4中，所述待爬取字段附带条件包括所需爬取字段的长度、数据类型以及数据格式。

4.根据权利要求1所述的一种聚焦网络爬虫自适应爬取方法，其特征在于，步骤5中，所述主题相关度检测，是指在判断文本内容与某主题的相关度的过程中，计算步骤4符合条件的文本与所述主题关键词集合的交集，交集中含有的元素越多，则认为文本与主题的相关度就越高。

5.根据权利要求1所述的一种聚焦网络爬虫自适应爬取方法，其特征在于，所述步骤6中，设定主题相关度阈值，对达到阈值且主题相关度最高的文本进行存储，首先判断是否存在主题相关度达到阈值的文本，若存在，提取主题相关度最高的文本进行存储，若没有主题相关度超过阈值的文本，则跳过此字段；若有多个主题相关度超过阈值的文本，取主题相关度最高的文本。

6.根据权利要求1所述的一种聚焦网络爬虫自适应爬取方法，其特征在于，所述步骤6中，若主题相关度超过阈值的文本多于三个，则增大主题相关度阈值。