[发明专利]一种大数据集群的故障检测方法和装置

权利要求书

1.一种大数据集群的故障检测方法，其特征在于，包括：

采集大数据集群的指标数据和日志数据；

根据所述指标数据和日志数据确定异常信息及其对应的处理方案；

对所述异常信息及其对应的处理方案进行机器学习，将学习结果存储到运维库中；

基于所述运维库中的学习结果对所述大数据集群进行故障检测。

2.根据权利要求1所述的方法，其特征在于，所述指标数据包括操作系统进程、单台服务器、分布式服务和分布式集群的指标数据。

3.根据权利要求2所述的方法，其特征在于，所述单台服务器的指标数据包括：主机名配置检查、NTP偏移量检查、平均负载、主机磁盘读写效率、CPU使用率、主机文件句柄使用率、主机网络状态及负载、HA状态检查、关键目录检查、内存使用率、硬件状态检查、SWAP使用率、主机状态检查、告警信息、错误信息。

4.根据权利要求2所述的方法，其特征在于，所述操作系统进程的指标数据包括：大数据进程存活状态、多线程信息、进程拥塞情况、堆栈使用情况。

5.根据权利要求2所述的方法，其特征在于，所述分布式服务的指标数据包括：启停状态、Kerberos身份认证机制连通状态、关键进程健康状态、数据库连通状态、服务状态和告警信息。

6.根据权利要求2所述的方法，其特征在于，所述分布式集群的指标数据包括：集群主机健康状态统计、主机网络读写速率分布、主机磁盘占用率分布、主机内存占用率分布和主机CPU占用率分布。

7.根据权利要求1所述的方法，其特征在于，根据所述指标数据和日志数据确定异常信息及其对应的处理方案，包括：

根据所述指标数据和日志数据确定异常信息；

根据所述异常信息确定对应的处理方案。

8.根据权利要求7所述的方法，其特征在于，所述异常信息包括：异常点、所述异常点产生时的上下文信息、异常分类、异常关键字和异常详细信息；

根据所述指标数据和日志数据确定异常信息，包括：

对所述指标数据进行异常点检测，得到异常点；

根据所述日志数据确定异常点产生时的上下文、异常分类、异常关键字和异常详细信息。

9.根据权利要求1所述的方法，其特征在于，根据所述指标数据和日志数据确定异常信息及其对应的处理方案之前，还包括：

对采集的日志数据进行标准化操作；

对标准化操作后的日志数据进行聚合操作；

对聚合操作后的日志数据进行异常点检测。

10.根据权利要求9所述的方法，其特征在于，对采集的日志数据进行标准化操作，包括：

使用Linux的系统sed命令和awk命令，对日志数据进行标准化工作，从而将所述日志数据映射成多元组。

11.根据权利要求10所述的方法，其特征在于，使用Linux的系统sed命令和awk命令，对日志数据进行标准化工作，包括：

使用sed命令，实现对数据进行替换、删除、新增以及特定行的选取等操作；

使用awk命令，将一行分成多个字段来处理，并结合grep命令过滤特定字符的行，使用split命令切分字符串。

12.根据权利要求10所述的方法，其特征在于，所述多元组包括：产生时间、应用或组件的名称、IP地址、详细内容和备注。

13.根据权利要求9所述的方法，其特征在于，对标准化操作后的日志数据进行聚合操作，包括：

基于概念聚类算法对标准化操作后的日志数据进行聚合计算，并进行多维度字段的聚合，使得告警合并或者聚合成关联事件。