[发明专利]一种面向网页采集任务的插件管理方法及其装置

权利要求书

1.一种面向网页采集任务的插件管理方法，其特征在于，所述方法包括以下步骤：

S1，在一网页内选中任意的网页内容，根据所述网页内容生成与所述网页内容对应的抽取规则，同时，根据所述抽取规则生成与所述抽取规则对应的插件；

S2，对所述插件进行测试，当所述插件通过测试后，加载所述插件完成网页内容的采集操作，同时，管理所述插件的使用权限，并对所述插件采取相应的维护操作；

S3，爬虫控制节点向插件管理中心发送插件下载请求；

S4，所述插件管理中心获取调用所述爬虫控制节点接口的用户的身份信息；

S5，所述插件管理中心验证所述身份信息，当所述身份信息通过验证时，所述插件管理中心通过所述下载请求；

S6，根据所述下载请求内包含的插件版本信息，版本控制服务器选择相应版本的插件以供下载；

S7，所述爬虫控制节点动态加载所述插件，并开始在所述网页内容内采集所需信息；

其中，所述步骤S1具体包括以下子步骤：

S11，输入网络链接地址，下载与所述网络链接地址对应的网页界面；

S12，将所述网页界面解析为相应的文档对象结构；

S13，分析所述文档对象结构，并根据所述选中的网页内容生成对应的Java脚本抽取规则；

S14，根据所述Java脚本抽取规则生成Java脚本插件，并选择Java脚本插件的配置模式，所述配置模式包括，选择上传所述Java脚本插件、在所述网页界面内录入所述抽取规则、在所述网页界面内编写所述Java脚本插件；

S15，将所述Java脚本抽取规则或者所述Java脚本插件发送到插件管理中心；

所述步骤S2具体包括以下子步骤：

S21，根据用户提供的身份信息对用户的身份进行权限校验；

S22，当用户的身份校验成功后，获取与用户对应的权限信息，并根据所述权限信息向用户提供插件下载、插件上传、或者插件查询的操作权限；

S23，当爬虫控制节点获取到所述插件时，在正常工作状态下，重复动态加载所述插件。

2.根据权利要求1所述的面向网页采集任务的插件管理方法，其特征在于，所述步骤S1还包括以下子步骤：

S15，选择要进行测试的插件；

S16，输入用于测试所述插件的网络链接地址；

S17，选择测试模式，其中，所述测试模式包括单元测试以及集成测试；

S18，获取测试结果，并分析处理所述测试的结果。

3.根据权利要求1所述的面向网页采集任务的插件管理方法，其特征在于，所述步骤S2还包括以下子步骤：

S24，判断用户的操作模式，所述操作模式包括：删除所述插件、增加所述插件、下载所述插件以及修改所述插件；

S25，根据所述操作模式以及所述插件的版本信息，对所述插件进行维护，同时，根据用户需求对所述插件进行相应的维护操作。

4.一种基于权利要求1所述方法的面向网页采集任务的插件管理装置，其特征在于，所述装置包括：插件开发模块以及插件管理中心，其中，所述插件开发模块包括用于对网页内容进行分析的网页分析器、用于插件进行相关配置的插件配置客户端以及用于对所述插件进行测试的插件测试客户端；

所述插件管理中心包括用于向用户提供所述插件的下载、上传、查询服务端插件服务模块以及对插件版本进行控制的版本控制模块。