[发明专利]批量作业处理的故障预测方法、装置和服务器

权利要求书

1.一种批量作业处理的故障预测方法，其特征在于，包括：

获取上一个时间段系统处理批量作业时的SQL执行计划日志，作为第一SQL执行计划日志；其中，所述第一SQL执行计划日志至少包含有上一个时间段系统基于数据库处理批量作业时所使用的SQL语句中的多个执行算子的关联信息；

获取当前时间段已处理的第一层级的批量作业的作业日志，以及数据库记录的元数据表；其中，所述元数据表至少包含有作业之间的依赖关系，以及处理作业所涉及的目标表之间的血缘关系；

根据所述第一层级的批量作业的作业日志，更新所述第一SQL执行计划日志，得到第二SQL执行计划日志；

根据所述第二SQL执行计划日志、所述元数据表，确定出当前时间段未处理的第二层级的批量作业的资源消耗的预测值；

根据所述第二层级的批量作业的资源消耗的预测值，预测系统处理第二层级的批量作业时是否存在故障风险。

2.根据权利要求1所述的方法，其特征在于，所述多个执行算子包括：GATHER算子、BROADCAST算子、HashAGGREGATE算子。

3.根据权利要求2所述的方法，其特征在于，根据所述第一层级的批量作业的作业日志，更新所述第一SQL执行计划日志，得到第二SQL执行计划日志，包括：

根据第一层级的批量作业的作业日志，修改所述第一SQL执行计划日志中与所述第一层级的批量作业对应的数据信息。

4.根据权利要求3所述的方法，其特征在于，根据所述第二SQL执行计划日志、所述元数据表，确定出当前时间段未处理的第二层级的批量作业的资源消耗的预测值，包括：

采集系统当前的运行参数；

根据所述第二SQL执行计划日志、所述元数据表，以及系统当前的运行参数，通过进行多元线性回归计算，确定出参与处理第二层级的批量作业的多个执行算子中的各个执行算子针对多个资源的资源消耗的预测值；

根据所述多个执行算子中的各个执行算子针对多个资源的资源消耗的预测值，确定出第二层级的批量作业的资源消耗的预测值。

5.根据权利要求4所述的方法，其特征在于，所述多个资源包括：IO资源、CPU资源、磁盘资源、内存资源。

6.根据权利要求4所述的方法，其特征在于，根据所述多个执行算子中的各个执行算子针对多个资源的资源消耗的预测值，确定出第二层级的批量作业的资源消耗的预测值，包括：

根据所述多个执行算子中的各个执行算子针对多个资源的资源消耗的预测值，分别计算出第二层级的批量作业分别针对各个资源的资源消耗的预测值；

根据所述第二层级的批量作业分别针对各个资源的资源消耗的预测值，构建对应的资源消耗预测向量，作为所述第二层级的批量作业的资源消耗的预测值；其中，所述资源消耗预测向量包括多个数据元素，且所述数据元素分别表示第二层级的批量作业针对一个资源的资源消耗的预测值。

7.根据权利要求6所述的方法，其特征在于，根据所述第二层级的批量作业的资源消耗的预测值，预测系统处理第二层级的批量作业时是否存在故障风险，包括：

计算所述资源消耗预测向量，与预设的资源消耗参照向量之间的向量差值；

根据所述向量差值，确定系统处理第二层级的批量作业时是否存在故障风险。

8.根据权利要求7所述的方法，其特征在于，在获取上一个时间段系统处理批量作业时的SQL执行计划日志，作为第一SQL执行计划日志之前，所述方法还包括：

获取多个时间段系统处理批量作业时的历史记录；

从所述历史记录中筛选出系统正常处理批量作业时的历史记录，作为参照记录；

根据所述参照记录，分别计算出多个资源消耗参照向量；

根据所述多个资源消耗参照向量，确定出预设的资源消耗参照向量。