[发明专利]基于模版配置实现互联网信息自动提取的系统及方法

权利要求书

1.一种基于模版配置实现互联网信息自动提取的系统，其特征在于，所述的系统包括：

模版管理模块，用以创建领域模型、分析待抽取的网页并创建与领域模型绑定的模版以及对创建的模版进行配置，所述的领域模型用以保存用户关心的数据；

网页爬虫模块，用以根据选择的模版匹配待抓取的网页并根据匹配的模版的配置提取网页元信息封闭到所对应的领域模型的对象中。

2.根据权利要求1所述的基于模版配置实现互联网信息自动提取的系统，其特征在于，所述的系统还包括：

任务管理模块，用以获取用户对模版的选择并将所对应的模版发送至所述的网页爬虫模块。

3.根据权利要求1所述的基于模版配置实现互联网信息自动提取的系统，其特征在于，所述的系统还包括：

自动化测试模块，用以定时运行设置了测试规则的模版中的测试用例以及当模版不能正确提取需要的信息时通知用户。

4.一种通过权利要求1至3中任一项所述的系统基于模版配置实现互联网信息自动提取的方法，其特征在于，所述的方法包括以下步骤：

（1）所述的模版管理模块创建领域模型；

（2）所述的模版管理模块分析待抽取的网页并创建与所述的领域模型绑定的模版；

（3）所述的模版管理模块对所述的模版进行配置；

（4）所述的网页爬虫模块根据选择的模版匹配待抓取的网页；

（5）所述的网页爬虫模块根据匹配的模版的配置提取网页元信息；

（6）所述的网页爬虫模块将提取的网页元信息封闭到所对应的领域模型的对象中并将得到的领域模型保存至数据库。

5.根据权利要求4所述的基于模版配置实现互联网信息自动提取的方法，其特征在于，所述的模版管理模块对所述的模版进行配置，包括以下步骤：

（31）所述的模版管理模块设置网页过滤规则；

（32）所述的模版管理模块设置网页分析引擎为Htmlunitdriver或Webdriver；

（33）所述的模版管理模块设置Javascript是否启用、设置种子并设置网页抓取深度；

（34）所述的模版管理模块设置Xpath路径及Xpath处理方式。

6.根据权利要求5所述的基于模版配置实现互联网信息自动提取的方法，其特征在于，所述的网页爬虫模块根据选择的模版匹配待抓取的网页，具体为：

所述的网页爬虫模块根据选择的模版对应的网页过滤规则匹配待抓取的网页，如果所有选择的模版均不能匹配待抓取的网页，则结束退出，否则，继续步骤（5）。

7.根据权利要求5所述的基于模版配置实现互联网信息自动提取的方法，其特征在于，所述的网页爬虫模块根据匹配的模版的配置提取网页元信息，包括以下步骤：

（51）所述的网页爬虫模块采用匹配的模版配置的网页分析引擎对待抓取网页进行分析；

（52）所述的网页爬虫模块根据匹配的模版的Xpath路径及Xpath处理方式提取网页元信息。

8.根据权利要求4所述的基于模版配置实现互联网信息自动提取的方法，其特征在于，所述的系统还包括任务管理模块，所述的步骤（3）和（4）之间，还包括以下步骤：

（35）所述的任务管理模块获取用户对模版的选择并将所对应的选择的模版发送至所述的网页爬虫模块。