[发明专利]数据抽取方法和数据抽取系统

权利要求书

1.一种数据抽取方法，包括：

获取插件ID列表；

根据所述插件ID列表获取每个插件；

为每个插件构建一个数据抽取子服务，所述数据抽取子服务用于从数据源获取预设数据，并调用所述插件处理所述预设数据；

将通用模块和插件组合起来，通用模块包括从hadoop抽取数据、向业务插件提供公共的抽象接口、调用业务插件的功能；以及

定时启动所述数据抽取子服务。

2.根据权利要求1所述的数据抽取方法，还包括：集中管理每个插件，并通过插件ID区分每个插件。

3.根据权利要求2所述的数据抽取方法，所述集中管理每个插件包括以下的至少一项：插件注册、插件删除、插件配置和插件手工运行。

4.根据权利要求3所述的数据抽取方法，其中，在每个插件注册时，按照预设的接口定义对所述插件进行校验。

5.根据权利要求4所述的数据抽取方法，还包括：将注册成功的插件ID存储到数据库表；

则所述获取插件ID列表包括：从所述数据库表获取已注册的插件ID列表。

6.根据权利要求1所述的数据抽取方法，还包括：采集每个数据抽取子服务中的插件运行信息，并通过图形界面显示。

7.根据权利要求1所述的数据抽取方法，其中，每个插件至少包含可执行代码和源代码的一项。

8.根据权利要求1所述的数据抽取方法，其中，所述插件处理所述预设数据包括：对所述预设数据加工后输出到指定数据源。

9.一种数据抽取系统，包括：

插件管理子系统，用于集中管理每个插件，并通过插件ID区分每个插件；

数据抽取子系统，用于从所述插件管理子系统获取插件ID列表，并根据所述插件ID列表获取每个插件，为每个插件构建一个数据抽取子服务，并定时启动所述数据抽取子服务，其中，所述数据抽取子服务用于从数据源获取预设数据，并调用所述插件处理所述预设数据，将通用模块和插件组合起来，通用模块包括从hadoop抽取数据、向业务插件提供公共的抽象接口、调用业务插件的功能。

10.根据权利要求9所述的数据抽取系统，其中，所述插件管理子系统包括插件注册模块、插件删除模块、插件配置模块和插件手工运行模块。

11.根据权利要求10所述的数据抽取系统，其中，所述插件注册模块包括插件校验单元，所述插件校验单元按照预设的接口定义对所述插件进行校验。

12.根据权利要求11所述的数据抽取系统，其中，所述插件注册单元将注册成功的插件ID存储到数据库表；

则所述数据抽取子系统包括：从所述数据库表获取已注册的插件ID列表。

13.根据权利要求9所述的数据抽取系统，还包括：插件监控子系统，用于采集每个数据抽取子服务中的插件运行信息，并通过图形界面显示。

14.根据权利要求9所述的数据抽取系统，其中，所述数据抽取子系统在集群中运行，所述数据抽取子服务被分发到所述集群中的不同服务器上运行。

15.根据权利要求9所述的数据抽取系统，其中，每个插件至少包含可执行代码和源代码中的一项。

16.一种数据抽取装置，包括： 存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至8中任一项所述的数据抽取方法。

17.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至8中任一项所述的数据抽取方法。