[发明专利]一种hadoop集群运行ETL流程的实时监控方法及装置

权利要求书

1.一种hadoop集群运行ETL流程的实时监控方法，其特征在于，ETL流程根据reduce节点被分解为一个或多个MRWork，MRWork中的reducer数根据reduce节点和/或hadoop集群可申请container数设置；每个MRWork的数据源被拆分为多个分片数据源，进而使ETL流程被分解为多个子流程在hadoop中并发执行，每个子流程对应一个container，container为mapper container或reducer container；则在ETL流程运行过程中，实时监控方法包括：

ETL hadoop执行引擎启动时部署监控端RPC服务，以便各container调用访问监控端RPC服务，进而在运行过程中实时通知监控端流程运行状态、节点运行状态以及节点运行统计信息；

container启动时部署container RPC服务并向监控端注册ContainerExecutor，以便监控端间隔调用访问container RPC服务，进而间隔刷新container内部各节点的运行统计信息；

其中，每当提交一个ETL流程到hadoop运行，监控端生成一个与该ETL流程的唯一ExecuteID相关联的MapReduceFlow，以便与各container进行交互，进而获取流程运行状态、节点运行状态以及节点运行统计信息；当ETL流程运行完成时，监控端清除该流程ExecuteID对应的MapReduceFlow；其中，所述MapReduceFlow对应每个节点分别生成MRActivityNodeMonitor，用于监控对应节点的状态以及节点在每个container中的运行情况。

2.根据权利要求1所述的hadoop集群运行ETL流程的实时监控方法，其特征在于，对于任一container，所述在运行过程中实时通知监控端流程运行状态、节点运行状态以及节点运行统计信息，具体为：

container启动mapper graph或reducer graph；

graph开始运行后，通知监控端RPC服务对应的子流程开始运行，使得监控端获取流程的监控信息FlowMonitorBean；

graph内部各节点开始运行后，通知监控端RPC服务节点开始运行，使得监控端获取节点的监控信息ActivityMonitorBean；

graph内部各节点运行完成后，通知监控端RPC服务节点运行完成，使得监控端获取节点的监控信息ActivityMonitorBean；

graph运行完成后，通知监控端RPC服务对应的子流程运行完成，使得监控端获取流程的监控信息FlowMonitorBean；

其中，所述FlowMonitorBean包括流程运行状态、流程运行起始时间、流程消息，以及流程运行于container的host和port中的一项或多项；所述ActivityMonitorBean包括节点运行状态、节点运行起始时间、节点消息、节点运行统计信息，以及节点运行于container的host和port中的一项或多项。

3.根据权利要求2所述的hadoop集群运行ETL流程的实时监控方法，其特征在于，当监控端首次接收到任一子流程开始运行的通知后，所述方法还包括：监控端通过ExecuteID找到运行的ETL流程的MapReduceFlow，如果MapReduceFlow当前运行状态为NEW状态，则设置为RUNNING状态。

4.根据权利要求2所述的hadoop集群运行ETL流程的实时监控方法，其特征在于，当监控端接收到任一container发送来的任一节点开始运行的通知之后，所述方法还包括：

监控端获取该节点对应的MRActivityNodeMonitor以及发送通知的container对应的ContainerExecutor，并在MRActivityNodeMonitor的startedContainerList中增加该ContainerExecutor，以便监控端间隔刷新该节点的运行统计信息；其中，startedContainerList表示已经启动运行的ContainerExecutor的列表。