[发明专利]一种半自动化的垂直爬虫生成工具及方法

权利要求书

1.一种半自动化的垂直爬虫生成方法，其特征在于，该半自动化的垂直爬虫生成方法包括以下步骤：

步骤一，用户选择新建或采用lex-yacc技术打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树；通过寻找词法与语法分析的规律，以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构，这省去了用户阅读并理解原模板文件的步骤，将模板结构直观地展现在了用户面前；

步骤二，根据要抽取的内容，在树形模板结构中增加、修改或删除模板节点，节点信息中包含跳转关系、XPath表达式、数据存储方式内容，其中与普通垂直爬虫最大的区别是，XPath表达式的确定由用户通过点击等操作来完成，无需手工撰写XPath表达式；

步骤三，保存模板，自动替用户生成语法与格式均正确的模板文件，用户选择直接开始爬取信息；如果用户模板配置正确，系统根据树形模板结构生成语法正确的模板文件，若配置不正确，系统会提示用户需要修改的地方。

2.如权利要求1所述的半自动化的垂直爬虫生成方法，其特征在于，在步骤二中获取XPath表达式的方法包括：

使用lxml库提供的与XPath相关的接口，传入XPath表达式参数，获取XPath对应的页面上的信息；用户在页面上点击某项信息之后，对应的HTML标签会直接显示在HTML元素节点查看器中，同时XPath编辑器显示此元素对应的XPath表达式；HTML元素具有文本内容以及至少一个属性，选择所抽取的是属性还是文本内容；当用户确定XPath表达式之后，便通过抽取内容选择器选择所需要抽取的内容，得到了完整的XPath表达式。

3.一种半自动化的垂直爬虫生成工具，其特征在于，该半自动化的垂直爬虫生成工具包括：爬虫自动生成工具模块、爬虫模块；

爬虫自动生成工具模块，用于实现用户选择新建或采用lex-yacc打开模板，对模板文件进行词法与语法分析，维护符号表，构造出语法分析树，通过寻找词法与语法分析的规律，以及对整个分析过程中数据的存储与处理，根据模板内容构造出树形模板结构；

爬虫模块，与爬虫自动生成工具模块连接，用于根据爬虫自动生成工具模块提供的树形模板，获取爬虫信息。