[发明专利]一种半自动化的垂直爬虫生成工具及方法

摘要

本发明公开了一种半自动化的垂直爬虫生成工具及方法，该半自动化的垂直爬虫生成方法包括：用户可以选择新建或采用lex-yacc技术打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树；通过寻找词法与语法分析的规律，以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构；根据要抽取的内容，在树形模板结构中增加、修改或删除模板节点，节点信息中包含跳转关系、XPath表达式、数据存储方式内容；保存模板；该半自动化的垂直爬虫生成工具包括：爬虫自动生成工具模块、爬虫模块。本发明由自动生成模板内容代替人工手动配置模板，使配置模板变得更加方便快捷，可以大大节省相关人员的工作量。

主权项

一种半自动化的垂直爬虫生成方法，其特征在于，该半自动化的垂直爬虫生成方法包括以下步骤：步骤一，用户选择新建或采用lex‑yacc技术打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树；通过寻找词法与语法分析的规律，以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构，这省去了用户阅读并理解原模板文件的步骤，将模板结构直观地展现在了用户面前；步骤二，根据要抽取的内容，在树形模板结构中增加、修改或删除模板节点，节点信息中包含跳转关系、XPath表达式、数据存储方式内容，其中与普通垂直爬虫最大的区别是，XPath表达式的确定由用户通过点击等操作来完成，无需手工撰写XPath表达式；步骤三，保存模板，自动替用户生成语法与格式均正确的模板文件，用户选择直接开始爬取信息；如果用户模板配置正确，系统根据树形模板结构生成语法正确的模板文件，若配置不正确，系统会提示用户需要修改的地方。