[发明专利]一种面向网页采集任务的插件管理方法及其装置

摘要

本发明公开了一种面向网页采集任务的插件管理方法及其装置，该方法包括以下步骤：在一网页内选中任意的网页内容，根据所述网页内容生成与所述网页内容对应的抽取规则，同时，根据所述抽取规则生成与所述抽取规则对应的插件；对所述插件进行测试，当所述插件通过测试后，加载所述插件完成网页内容的采集操作，同时，管理所述插件的使用权限，并对所述插件采取相应的维护操作。实施本发明，通过结合Java脚本语言优势，以及现有的版本控制服务器，提高插件的开发效率，实现插件的自动化管理，从而大大降低插件开发和插件维护的成本。同时，在插件开发时，无需重启程序即可以支持插件的动态重复加载，在插件管理时，管理操作更为安全、便捷。

主权项

1.一种面向网页采集任务的插件管理方法，其特征在于，所述方法包括以下步骤：S1，在一网页内选中任意的网页内容，根据所述网页内容生成与所述网页内容对应的抽取规则，同时，根据所述抽取规则生成与所述抽取规则对应的插件；S2，对所述插件进行测试，当所述插件通过测试后，加载所述插件完成网页内容的采集操作，同时，管理所述插件的使用权限，并对所述插件采取相应的维护操作；S3，爬虫控制节点向插件管理中心发送插件下载请求；S4，所述插件管理中心获取调用所述爬虫控制节点接口的用户的身份信息；S5，所述插件管理中心验证所述身份信息，当所述身份信息通过验证时，所述插件管理中心通过所述下载请求；S6，根据所述下载请求内包含的插件版本信息，版本控制服务器选择相应版本的插件以供下载；S7，所述爬虫控制节点动态加载所述插件，并开始在所述网页内容内采集所需信息；其中，所述步骤S1具体包括以下子步骤：S11，输入网络链接地址，下载与所述网络链接地址对应的网页界面；S12，将所述网页界面解析为相应的文档对象结构；S13，分析所述文档对象结构，并根据所述选中的网页内容生成对应的Java脚本抽取规则；S14，根据所述Java脚本抽取规则生成Java脚本插件，并选择Java脚本插件的配置模式，所述配置模式包括，选择上传所述Java脚本插件、在所述网页界面内录入所述抽取规则、在所述网页界面内编写所述Java脚本插件；S15，将所述Java脚本抽取规则或者所述Java脚本插件发送到插件管理中心；所述步骤S2具体包括以下子步骤：S21，根据用户提供的身份信息对用户的身份进行权限校验；S22，当用户的身份校验成功后，获取与用户对应的权限信息，并根据所述权限信息向用户提供插件下载、插件上传、或者插件查询的操作权限；S23，当爬虫控制节点获取到所述插件时，在正常工作状态下，重复动态加载所述插件。