[发明专利]一种自动结构化数据的电商网站主题爬虫方法

摘要

本发明涉及一种自动结构化数据的电商网站主题爬虫方法，其特征在于包括以下步骤：传入入口地址以触发工作系统，所述工作系统中设有模块分析系统；模块分析系统进入工作状态，抓取工作也同期开启，以等待主线程的任务；模块分析系统对网站的新旧进行判断，如是旧网站则使用先前分析产生的规则进行分析解析；如是新网站则交由模块分析系统内的结构分析器，结构分析器根据预设的匹配模板，逐步分析出列表数据、目标字段的位置信息，并将产生的XPath存储在分析器实例中；最后进行爬虫的运作流程以完成结构化。该方法不但能够快速的获得多个站点的大量数据，而且能将焦点更多地放在结构化数据的处理和信息挖掘上。

主权项

一种自动结构化数据的电商网站主题爬虫方法，其特征在于，主要包括以下步骤：首先，传入入口地址以触发工作系统，即传入分类页以进行引擎启动，所述工作系统中设有模块分析系统；第二，引擎启动之后，模块分析系统进入工作状态，抓取工作也同期开启，以等待主线程的任务；第三，模块分析系统对网站的新旧进行判断，如果是旧网站则直接进入到分析器实例中以使用先前分析产生的规则进行分析解析；如果是新网站则交由模块分析系统内的结构分析器，结构分析器根据预设的匹配模板，逐步分析出列表数据、目标字段的位置信息，并将产生的XPath存储在分析器实例中；第四，进行爬虫的运作流程，根据层级提交给分析器解析出所需字段，进而完成结构化。