[发明专利]一种大数据集群的运行维护方法和系统

说明书

本发明提出了一种大数据集群的运行维护方法，所述方法包括：针对大数据集群中的进程信息进行采集，获得大数据集群中的各组件的进程运行信息；设置进程运行信息扫描时间间隔初始值，并根据进行运行信息扫描情况对所述进程运行信息扫描时间间隔进行自适应调整；利用所述进程运行信息扫描所述大数据集群中的被测组件的各进程中是否存在程序错误；若存在程序错误，则提取所述程序错误对应的错误类型，并进行出错统计；根据所述错误类型在预设的错误码库中查询对应的修复策略，并生成修复指令；根据所述修复指令以及修复策略对所述程序错误进行修复。所述系统包括与所述方法步骤对应的模块。

技术领域

本发明提出了一种大数据集群的运行维护方法和系统，属于运维技术领域。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据处理依赖众多服务，如HDFS(分布式文件系统)、YARN(资源管理系统)、Spark(分布式内存计算框架)、HBASE(分布式面向列的数据库)、HIVE(基于hadoop的数据仓库工具)等等。由于网络震荡、电压不稳、资源抢占、误操作等原因都可能造成某些组件挂掉，需要维护人员定期巡检平台运行情况，发现异常需要排除程序错误后启动挂掉的服务，如果启动不及时可能会出现业务数据积压，甚至影响业务的运行，给大数据平台稳定运行带来了极大挑战。而且由于大数据平台使用地点较多，出现重复性程序错误概率较大，因此运维人员需要做大量重复性劳动。还有一些大数据平台由于权限的限制，不允许远程操作，给运维人员巡检及程序错误修复带来极大不便。

发明内容

本发明提供了一种大数据集群的运行维护方法和系统，用以解决现有大数据集群的运行维护效率较低、维护力度较差的问题，所采取的技术方案如下：

一种大数据集群的运行维护方法，所述方法包括：

针对大数据集群中的进程信息进行采集，获得大数据集群中的各组件的进程运行信息；

设置进程运行信息扫描时间间隔初始值，并根据进行运行信息扫描情况对所述进程运行信息扫描时间间隔进行自适应调整；

利用所述进程运行信息扫描所述大数据集群中的被测组件的各进程中是否存在程序错误；若存在程序错误，则提取所述程序错误对应的错误类型，并进行出错统计；

根据所述错误类型在预设的错误码库中查询对应的修复策略，并生成修复指令；

根据所述修复指令以及修复策略对所述程序错误进行修复。

进一步地，设置进程运行信息扫描时间间隔初始值，并根据进行运行信息扫描情况对所述进程运行信息扫描时间间隔进行自适应调整，包括：

第一步、设置进程运行信息扫描时间间隔初始值，根据所述扫描时间间隔初始值利用所述进程运行信息执行大数据集群中的被测组件的各进程的扫描；

第二步、以进程运行信息扫描时间间隔初始值为基础，进行连续三个进程运行信息扫描时间间隔的进程扫描，即三次进程扫描；在完成三次进程扫描之后，根据单次扫描所用时间和进程中的程序出错数量对所述进程运行信息扫描时间间隔进行调整，获得自适应调整后的进程运行信息扫描时间间隔；

第三步、根据自适应调整后的进程运行信息扫描时间间隔，利用所述进程运行信息执行大数据集群中的被测组件的各进程的扫描；

第四步、以自适应调整后的进程运行信息扫描时间间隔连续进行三次扫描之后，根据单次扫描所用时间和进程中的程序出错数量对所述进程运行信息扫描时间间隔进行调整，获得再次自适应调整后的进程运行信息扫描时间间隔；并根据再次自适应调整后的进程运行信息扫描时间间隔，利用所述进程运行信息执行大数据集群中的被测组件的各进程的扫描；