[发明专利]基于互联网数据抓取系统的数据抓取方法

摘要

本发明公开了一种基于互联网数据抓取系统的数据抓取方法，S1提供现有关键词库内的关键词，在搜索引擎上URL采集，并提供用户自定义关键词的采集；S2系统利用URL校验的方式将获取到的URL进行去重；S3URL采集爬虫包含深度优先和广度优先算法；S4确定抓取目标网址，先找到含有所需数据的网址，判断数据的可靠性以及抓取的可行性和难度；S5分析页面内容及其组织方式，确定抓取规则；S6正则表达式匹配对每个层次的文本，根据定义的标识串，对网页文本进行匹配搜索以提取所需数据。对抓取到的数据进行去重处理，改变传统的数据抓取量大问题。

主权项

一种基于互联网数据抓取系统的数据抓取方法，其特征在于：具体包括如下步骤：S1：提供现有关键词库内的关键词，在搜索引擎上URL采集，并提供用户自定义关键词的采集；S2：系统利用URL校验的方式将获取到的URL进行去重；S3：URL采集爬虫包含深度优先和广度优先算法，并可配置爬取深度和用户权限，提供对URL标签解析功能，包含标题、日期、作者、正文特定标签下的内容提取并分类，提供对搜索出结果的特定标签内关键信息进行抽取，有新闻资讯类网页的正文信息抽取功能；S4：确定抓取目标网址，先找到含有所需数据的网址，判断数据的可靠性以及抓取的可行性和难度；S5：分析页面内容及其组织方式，确定抓取规则；S6：正则表达式匹配对每个层次的文本，根据定义的标识串，对网页文本进行匹配搜索以提取所需数据。