[发明专利]一种大数据集群的运行维护方法和系统

权利要求书

1.一种大数据集群的运行维护方法，其特征在于，所述方法包括：

针对大数据集群中的进程信息进行采集，获得大数据集群中的各组件的进程运行信息；

设置进程运行信息扫描时间间隔初始值，并根据进程运行信息扫描情况对所述进程运行信息扫描时间间隔进行自适应调整；

利用所述进程运行信息扫描所述大数据集群中的被测组件的各进程中是否存在程序错误；若存在程序错误，则提取所述程序错误对应的错误类型，并进行出错统计；

根据所述错误类型在预设的错误码库中查询对应的修复策略，并生成修复指令；

根据所述修复指令以及修复策略对所述程序错误进行修复；

其中，设置进程运行信息扫描时间间隔初始值，并根据进程运行信息扫描情况对所述进程运行信息扫描时间间隔进行自适应调整，包括：

第一步、设置进程运行信息扫描时间间隔初始值，根据所述扫描时间间隔初始值利用所述进程运行信息执行大数据集群中的被测组件的各进程的扫描；

第二步、以进程运行信息扫描时间间隔初始值为基础，进行连续三个进程运行信息扫描时间间隔的进程扫描，即三次进程扫描；在完成三次进程扫描之后，根据单次扫描所用时间和进程中的程序出错数量对所述进程运行信息扫描时间间隔进行调整，获得自适应调整后的进程运行信息扫描时间间隔；

第三步、根据自适应调整后的进程运行信息扫描时间间隔，利用所述进程运行信息执行大数据集群中的被测组件的各进程的扫描；

第四步、以自适应调整后的进程运行信息扫描时间间隔连续进行三次扫描之后，根据单次扫描所用时间和进程中的程序出错数量对所述进程运行信息扫描时间间隔进行调整，获得再次自适应调整后的进程运行信息扫描时间间隔；并根据再次自适应调整后的进程运行信息扫描时间间隔，利用所述进程运行信息执行大数据集群中的被测组件的各进程的扫描；

第五步、重复第三步至第四步的内容，不断调整进程运行信息扫描时间间隔，利用不断调整后的进程运行信息扫描时间间隔进行大数据集群中的被测组件的各进程的扫描；

其中，通过如下公式对所述进程运行信息扫描时间间隔进行自适应调整：

其中，T_i+1表示第i+1次自适应调整之后的信息扫描时间间隔，i＝1,2,3……n，n表示信息扫描时间间隔自适应调整总次数，i＝1时，T₁表示进程运行信息扫描时间间隔初始值；N表示连续三次扫描中，扫描的进程数；Nc表示连续三次扫描中，获得的程序出错数量；T_i表示第i次自适应调整之后的信息扫描时间间隔；T_max表示三次扫描中单次进行进程扫描所用时间的最大值；T_min三次扫描中单次进行进程扫描所用时间的最小值。

2.根据权利要求1所述方法，其特征在于，利用所述进程运行信息扫描所述大数据集群中的被测组件的各进程中是否存在程序错误；若存在程序错误，则提取所述程序错误对应的错误类型，并进行出错统计，包括：

当检测到所述被测组件的进程出现程序错误时，根据所述程序错误锁定程序错误触发点对应的错误日志；

根据所述错误日志确定所述错误类型；

将出现程序错误的进程进行一次出错标记，并对进程的程序错误的所述错误类型进行归类；

将被测组件的所述进程的出错标记次数和所述进程出现的各类错误类型进行统计，获得统计结果；

将所述统计结果发送至大数据集群的运行维护终端进行记录。

3.根据权利要求2所述方法，其特征在于，将所述统计结果发送至大数据集群的运行维护终端进行记录，包括：

所述运行维护终端在接收到所述统计结果之后，将所述统计结果与运行维护终端中预设的各被测组件对应的错误阈值进行比较：

当各被测组件的统计结果中的出错标记次数和错误类型中任意一项超过错误阈值中的错误标记次数指标和错误类型个数指标时，所述运行维护终端进行报警提示。