[发明专利]一种多种数据抽取调度方法及系统

权利要求书

1.一种多种数据抽取调度方法，其特征是：包括以下步骤：

配置包含不同数据抽取节点的基本信息，每个数据抽取节点均能够支持JAVA接口、存储过程和Informatica工作流数据抽取方式；

所述JAVA接口的抽取流程包括：

通过远程调用Java接口地址，根据能否返回方法列表判断接口是否可用；

将目标接口方法的基本信息维护成一个运行的基本元素，并将判断依据和后续的处理方式一并维护，这一组信息的集合形成一个JAV A接口节点；

调用Java接口，接收返回值，在根据之前维护的结果判断标准对返回结果进行判断；

在调用过程中如果需要暂停或者中断数据抽取，调用数据抽取控制接口，并将需要操作数据抽取接口和操作类型信息以入参的形式传入，数据抽取控制接口找到该接口，并将其中断，暂停或者继续，控制数据抽取进程；

所述存储过程的数据抽取过程包括：

根据维护的数据库地址、端口、实例名、用户名和密码基本信息，通过数据库驱动，并判断数据库的连通性；

查询数据库存储过程信息，从中选取所需的存储过程，将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护，并将这些信息集合形成存储过程节点；

调用存储过程，通过数据库驱动调用存储过程，并将存储过程执行过程中的明细信息存储到专门的日志表中，最后将执行的结果返回，在根据判断标准判断返回结果；

所述Informatica工作流的过程包括：

通过连通Informatica服务的端口号，判断Informatica服务是否启动；

通过查询Informatica元数据信息，获取过工作流列表，选取所需工作流，这样的信息集合形成一个Informatica工作流节点；

连接远程Informatica服务，通过网络发送Informatica命令，启动Informatica工作流，获取工作流执行后的返回信息，使用分词解析，获取结果信息中关键信息，根据关键信息判断数据抽取的结果成功失败；

根据工作流名称向Informatica服务器发送停止、暂停、继续的命令，控制Informatica工作流抽取进程；

在数据抽取过程中，通过查询Informatica元数据信息，获取工作流中所有会话的执行日志，以实现错误定位和问题解决；

确定数据抽取节点选用个数，各数据抽取节点根据需要制作抽取流程，形成数据抽取的逻辑；所述数据抽取的逻辑，包括串行、并行和分支执行中的至少一种；

按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取；

判断数据抽取是否成功，如果失败则重复执行设定次数。

2.如权利要求1所述的一种多种数据抽取调度方法，其特征是：不同数据抽取节点的基本信息包括：

JAVA接口的基本信息包含接口地址、接口参数；

存储过程的基本信息包含数据库地址、端口、实例名、用户名和密码；

Informatica工作流包含Informatica服务的IP地址、计算机名、集成服务名、端口、用户名、密码和元数据的数据库信息。

3.如权利要求1所述的一种多种数据抽取调度方法，其特征是：在存储过程的进程中，可以对进程进行控制，根据存储过程名称，查到该存储过程的进程，在向数据发送停止命令，停止该存储过程；

通过数据库驱动查看存储过程运行日志表，获取存储过程运行的明细信息，包括应抽取数据行数、已抽取行数、报错信息和报错位置。

4.如权利要求1所述的一种多种数据抽取调度方法，其特征是：在运行过程中，判断各数据抽取节点运行结果，如果运行结果正确，则按照设定逻辑继续运行，如果运行结果错误，则按照设定逻辑暂停后续数据抽取节点的执行。

5.如权利要求1所述的一种多种数据抽取调度方法，其特征是：判断各数据抽取节点运行结果包括两种方式：(1)根据返回值，返回值与在生成节点是维护的结果判断信息进行对比，从而判断运行的成功和失败；(2)根据运行时间，生成节点时预先设定运行时间，如果运行超时，就判断运行失败，否则抽取数据的逻辑被卡住，影响其他的数据抽取。

6.一种多种数据抽取调度系统，其特征是：包括：

参数设置模块，被配置为配置包含不同数据抽取节点的基本信息，每个数据抽取节点均能够支持JAVA接口、存储过程和Informatica工作流数据抽取方式；

所述JAVA接口的抽取流程包括：

通过远程调用Java接口地址，根据能否返回方法列表判断接口是否可用；

将目标接口方法的基本信息维护成一个运行的基本元素，并将判断依据和后续的处理方式一并维护，这一组信息的集合形成一个JAV A接口节点；

调用Java接口，接收返回值，在根据之前维护的结果判断标准对返回结果进行判断；

在调用过程中如果需要暂停或者中断数据抽取，调用数据抽取控制接口，并将需要操作数据抽取接口和操作类型信息以入参的形式传入，数据抽取控制接口找到该接口，并将其中断，暂停或者继续，控制数据抽取进程；

所述存储过程的数据抽取过程包括：

根据维护的数据库地址、端口、实例名、用户名和密码基本信息，通过数据库驱动，并判断数据库的连通性；

查询数据库存储过程信息，从中选取所需的存储过程，将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护，并将这些信息集合形成存储过程节点；

调用存储过程，通过数据库驱动调用存储过程，并将存储过程执行过程中的明细信息存储到专门的日志表中，最后将执行的结果返回，在根据判断标准判断返回结果；

所述Informatica工作流的过程包括：

通过连通Informatica服务的端口号，判断Informatica服务是否启动；

通过查询Informatica元数据信息，获取过工作流列表，选取所需工作流，这样的信息集合形成一个Informatica工作流节点；

连接远程Informatica服务，通过网络发送Informatica命令，启动Informatica工作流，获取工作流执行后的返回信息，使用分词解析，获取结果信息中关键信息，根据关键信息判断数据抽取的结果成功失败；

根据工作流名称向Informatica服务器发送停止、暂停、继续的命令，控制Informatica工作流抽取进程；

在数据抽取过程中，通过查询Informatica元数据信息，获取工作流中所有会话的执行日志，以实现错误定位和问题解决；

逻辑配置模块，被配置为确定数据抽取节点选用个数，各数据抽取节点根据需要制作抽取流程，形成数据抽取的逻辑；所述数据抽取的逻辑，包括串行、并行和分支执行中的至少一种；执行模块，被配置为按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取调度；

判断模块，被配置为判断数据抽取是否成功，如果失败则重复执行设定次数。