[发明专利]大数据平台运行状态的监控方法和系统

权利要求书

1.一种大数据平台运行状态的监控方法，其特征在于，包括步骤：

确定大数据平台的计算任务的各个任务阶段；

通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况；其中，所述监控节点与所述大数据平台的计算任务的各个任务阶段所在节点对应部署；所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤包括：调用预先部署在大数据平台与所述计算任务的类型相应的监控节点，获取所述类型的计算任务在相应任务阶段的任务执行情况；其中，所述计算任务的类型包括离线任务和实时任务；其中，

所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据迁移阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台将离线任务的数据迁移到指定的HDFS目录时，获取所述离线任务在该HDFS目录中的文件数目和该大数据平台的数据迁移程序生成的响应码；根据所述文件数目和响应码判断所述离线任务在数据迁移阶段的任务是否成功执行；

所述计算任务的类型为离线任务，所述计算任务的任务阶段是数据清洗阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用spark对离线任务的数据进行清洗过滤时，获取数据清洗程序生成的响应码；根据该响应码判断所述离线任务在数据清洗阶段的任务是否成功执行；

根据所述计算任务在各个任务阶段的任务执行情况监控所述大数据平台的运行状态。

2.根据权利要求1所述的大数据平台运行状态的监控方法，其特征在于，所述通过预先部署在大数据平台的监控节点获取所述计算任务在各个任务阶段的任务执行情况的步骤还包括：

获取所述计算任务的类型。

3.根据权利要求1所述的大数据平台运行状态的监控方法，其特征在于，所述计算任务的类型为离线任务；所述计算任务的任务阶段还包括：数据计算阶段、计算结果产生阶段和计算结束阶段。

4.根据权利要求3所述的大数据平台运行状态的监控方法，其特征在于，

所述计算任务的任务阶段是数据计算阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：在所述大数据平台采用hive和spark对所述离线任务的清洗后的数据进行计算时，获取所述离线任务的各个计算单元的响应码，依据所述各个计算单元的响应码判断所述离线任务在数据计算阶段的任务是否成功执行。

5.根据权利要求3所述的大数据平台运行状态的监控方法，其特征在于，

所述计算任务的任务阶段是计算结果产生阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：获取所述离线任务的时间粒度，根据该时间粒度定时查询所述离线任务对应的数据库表产生的数据，得到所述离线任务在该时间粒度内的数据查询结果；依据所述数据查询结果确定所述离线任务在计算结果产生阶段的任务是否成功执行；

所述计算任务的任务阶段是计算结束阶段；所述获取所述类型的计算任务在相应任务阶段的任务执行情况的步骤包括：根据所述离线任务的时间粒度轮询所述离线任务的任务结束标志位；依据该标志位判断所述离线任务在计算结束阶段的任务是否成功执行。

6.根据权利要求1所述的大数据平台运行状态的监控方法，其特征在于，所述计算任务的类型为实时任务；所述计算任务的任务阶段包括：实时读取阶段和实时计算阶段。