[发明专利]一种大数据集群的运行维护方法及装置在审
申请号: | 201910205420.6 | 申请日: | 2019-03-18 |
公开(公告)号: | CN109960690A | 公开(公告)日: | 2019-07-02 |
发明(设计)人: | 范亚平;王浩杰 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/28 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 李博洋 |
地址: | 450000 河南省郑州市高新技*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 大数据 修复 运行维护 集群 进程运行信息 错误类型 运维 扫描 指令 策略发送 错误触发 错误日志 平台稳定 扫描程序 提取程序 修复程序 自动执行 进程 错误码 最大化 预设 采集 监视 查询 检测 重复 概率 部署 保证 | ||
1.一种大数据集群的运行维护方法,其特征在于,所述大数据集群中包括至少一个第一执行对象,所述第一执行对象与大数据集群的组件具有耦合对应关系;所述方法包括:
获取部署于所述大数据集群中的至少一第一执行对象所采集的各组件的被测进程的进程运行信息;
根据所述进程运行信息扫描所述被测进程是否存在程序错误;
如果扫描所述被测进程存在程序错误,扫描程序错误触发点的错误日志,提取所述程序错误的错误类型;
根据所述错误类型在预设的错误码库中查询对应的修复策略,并生成修复指令;
将所述修复指令及修复策略发送至所述第一执行对象,使所述第一执行对象修复所述程序错误。
2.根据权利要求1所述的大数据集群的运行维护方法,其特征在于,根据所述进程运行信息扫描所述被测进程是否存在程序错误,包括:
根据所述进程运行信息扫描所述大数据集群中的被测进程是否存在异常;
如果扫描所述被测进程存在异常,则扫描异常服务日志,判断是否存在程序错误;
如果扫描所述被测进程不存在异常,则判断所述被测进程是否扫描完成,如果扫描完成,则退出扫描;
如果扫描未完成,则返回所述根据所述进程运行信息扫描所述被测进程是否存在程序错误的步骤,扫描下一被测进程。
3.根据权利要求2所述的大数据集群的运行维护方法,其特征在于,如果判断不存在程序错误,则启动所述被测进程;
判断所述被测进程是否扫描完成,如果扫描完成,则退出扫描;
如果扫描未完成,则返回所述根据所述进程运行信息扫描所述被测进程是否存在程序错误的步骤,扫描下一被测进程。
4.根据权利要求1所述的大数据集群的运行维护方法,其特征在于,在根据所述进程运行信息扫描所述被测进程是否存在程序错误之前,所述的运行维护方法还包括:
读取配置文件,获取所述大数据集群中的各组件的剩余启动次数。
5.根据权利要求4所述的大数据集群的运行维护方法,其特征在于,根据所述错误类型在预设的错误码库中查询对应的修复策略,包括:
根据所述错误类型在所述预设的错误码库中查询是否存在匹配的修复策略;
如果所述预设的错误码库中存在匹配的修复策略,则提取所述修复策略。
6.根据权利要求5所述的大数据集群的运行维护方法,其特征在于,如果所述预设的错误码库中不存在匹配的修复策略,则根据所述各组件的剩余启动次数判断所述被测进程的启动次数是否用尽;
如果所述被测进程的启动次数用尽,则将所述错误日志发送至运行维护人员;
获取所述运行维护人员输入的新的修复策略,并将所述新的修复策略更新至所述预设的错误码库中。
7.根据权利要求1-6中任一项所述的大数据集群的运行维护方法,其特征在于,还包括:
统计所述大数据集群中的组件进行修复的次数及可进行修复的次数;
根据所述进行修复的次数及可进行修复的次数计算所述组件的健康率及组件权重;
根据所述健康率及组件权重计算所述大数据集群的综合评分;
根据所述综合评分对所述大数据集群进行优化。
8.一种大数据集群的运行维护装置,其特征在于,包括:
运行信息获取模块,用于获取部署于所述大数据集群中的至少一第一执行对象所采集的各组件的被测进程的进程运行信息;
扫描模块,用于根据所述进程运行信息扫描所述被测进程是否存在程序错误;
错误类型提取模块,如果扫描所述被测进程存在程序错误,所述错误类型提取模块用于扫描程序错误触发点的错误日志,提取所述程序错误的错误类型;
修复指令生成模块,用于根据所述错误类型在预设的错误码库中查询对应的修复策略,并生成修复指令;
指令发送模块,用于将所述修复指令及修复策略发送至所述第一执行对象,使所述第一执行对象修复所述程序错误。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910205420.6/1.html,转载请声明来源钻瓜专利网。