[发明专利]一种分布式hadoop环境下的日志调试方法和装置

摘要

本发明请求保护一种分布式hadoop环境下的日志调试方法和装置，针对当前流行的分布式如hadoop系统的日志管理配置方法，用于解决分布式环境下节点分散、日志管理混乱、节点通信安全底下的问题，通过验证的用户登录身份，认证分布式系统使用状态，在系统使用状态良好时进行告警入侵检测操作，之后采集分析待收集的日志，聚类分析处理节点日志，采用XML格式转换日志，最后更新数据库日志数据，本发明通过截断非法访问和入侵检测保护，为分布式系统提供了一种高安全性的防护措施，该方法和装置的实现对解决分布式系统的安全问题具有重要的现实意义及推广价值。

主权项

1.一种分布式hadoop环境下的日志调试方法，其特征在于：/n步骤1：分布式hadoop系统对用户的登陆身份进行认证检验，主要包括系统并发管理、分布式入侵检测选项调试、分布式入侵检测自定义规则调试、分布式入侵检测系统规则调试和分布式入侵检测开始与结束；/n步骤2：认证当前分布式hadoop系统的资源使用状态、用户通信状态和防火墙安全状态是否状态良好，决策当前的分布式系统各节点是否适于日志调试操作，如果状态良好，进入步骤3，如果状态不良好，进入步骤7后等待当前系统状态直至满足条件；/n步骤3：当分布式hadoop系统当前状态适于进行日志调试操作时，对所述入侵检测进行告警操作，采用系统内部插件将分布式各节点的日志数据或者告警数据以XML格式保存到本地并发送至中心数据库；/n步骤4：对待收集的日志进行采集分析，使用内部插件实时监视所有通信设备是否产生新日志，如果产生新日志，选择通信设备，等待日志产生后，设置日志选择规则，发送选择后的日志，接收到选择出的日志的消息后比照日志格式表进行格式的预处理，将处理后的日志存储在分布式各节点与分布式中心系统的通信存储单元中，便于进行集中分析处理；/n步骤5：将各节点存储的日志进行聚类分析处理，对日志特征进行选择提取，基于模式显示日志内容，基于相似度计算日志内容，划分后产生聚类日志集合；/n步骤6：将聚类后的日志集合同样采用XML格式保存到本地并发送至中心数据库；/n步骤7：更新中心数据库内部的日志数据；/n所述步骤2：认证当前分布式hadoop系统的资源使用状态、用户通信状态和防火墙安全状态是否状态良好，决策当前的分布式系统各节点是否适于日志调试操作，包括：/n资源使用状态包括当前的系统数据库连接池状态和数据库队列连接时间，系统内设数据库最大连接数为第一阈值，数据库连接队列等待最大时间为第二阈值，如果当前的数据库连接数不大于最大阈值但同时数据库连接队列的平均等待时间超过第二阈值，则认证当前系统资源使用状态不良好，如果当前的数据库连接数大于最大阈值而且同时数据库连接队列的平均等待时间超过第二阈值，则认证当前系统资源使用状态不良好并且立即清理当前系统资源，如果当前的数据库连接数不大于最大阈值而且同时数据库连接队列的平均等待时间不超过第二阈值，则认证当前系统资源使用状态良好；/n用户通信状态包括各节点用户向分布式系统发起的并发通信请求和请求通信响应时间，系统内设各节点用户向分布式系统发起的并发通信请求最大数为第三阈值，各用户的请求通信响应时间最大值为第四阈值，如果系统内设各节点用户向分布式系统发起的并发通信请求数不大于第三阈值但各用户的请求通信平均响应时间大于第四阈值，则认证用户通信状态不良好，如果系统内设各节点用户向分布式系统发起的并发通信请求数大于第三阈值而且各用户的请求通信平均响应时间大于第四阈值，则认证用户通信状态不良好并切断分布式系统发起的并发通信请求数大于第三阈值或请求通信平均响应时间大于第四阈值的用户节点通信，如果系统内设各节点用户向分布式系统发起的并发通信请求数不大于第三阈值而且各用户的请求通信平均响应时间不大于第四阈值，则认证用户通信状态良好；/n防火墙安全状态包括防火墙指定时间内的网络拦截请求状态和防火墙指定时间内的开启持续状态，系统内设防火墙指定时间内的网络拦截请求最大值为第五阈值，防火墙指定时间内的开启持续时间为第六阈值，如果防火墙指定时间内日网络拦截请求数不大于第五阈值但防火墙指定时间内的开启持续时间超过第六阈值，则认证防火墙安全状态不良好，如果防火墙指定时间内日网络拦截请求数大于第五阈值并且防火墙指定时间内的开启持续时间超过第六阈值，则认证防火墙安全状态不良好并切断分布式hadoop系统的网络通信，使用网络防火墙或杀毒软件进行网络拦截。/n