[发明专利]一种基于大数据的运行监控分析系统及方法

权利要求书

1.一种基于大数据的运行监控分析系统，其特征在于：所述监控分析系统包括分类模块、一级级别标识添加模块、二级级别标识添加模块和级别标识识别模块，所述分类模块预先给各个监控对象分为一级监控对象和二级监控对象，所述一级级别标识添加模块用于一级监控对象运行产生日志文件时，给相应的日志文件添加一级级别标识，所述二级级别标识添加模块用于在二级监控对象运行产生日志文件时，给相应的日志文件添加二级级别标识，所述级别标识识别模块用于识别监控对象运行产生日志文件上的级别标识，根据日志文件上不同的级别标识确定日志文件的存储方式；

所述级别标识识别模块包括识别信息传输模块、一级处理模块和二级处理模块，所述识别信息传输模块在识别日志文件上的级别标识为一级级别标识时传输信息令一级处理模块工作，在识别日志文件上的级别标识为二级级别标识时传输信息令二级处理模块工作，所述一级处理模块包括一级异常判断模块、一级无异常处理模块和一级异常处理模块，所述一级异常判断模块用于判断级别标识为一级级别标识的日志文件是否异常，并在不存在异常时，令一级无异常处理模块工作，在存在异常时，令一级异常处理模块工作；所述二级处理 模块包括二级异常判断模块、二级无异常处理模块和二级异常处理模块，所述二级异常判断模块用于判断级别标识为二级级别标识的日志文件是否异常，并在不存在异常时，令二级无异常处理模块工作，在存在异常时，令二级异常处理模块工作；

所述一级无异常处理模块包括第一缓冲存储模块、占用内存获取模块、占用内存比较模块和第一打包压缩发送模块，所述第一缓冲存储模块在判断该具有一级级别标识的日志文件不存在异常时将该日志文件存储到缓冲存储节点，所述占用内存获取模块用于获取缓冲存储节点已存入某监控对象日志文件的占用内存，所述占用内存比较模块在比较出已存入某监控对象日志文件的占用内存大于等于内存阈值时，获取缓冲存储节点该监控对象各个日志文件的存入时间以及当前该监控对象所存储日志文件的最早存入时间，所述第一打包压缩发送模块用于将存入时间与最早存入时间的时间间隔大于等于第二时间间隔阈值的日志文件以及最早存入的日志文件一起打包压缩发送至正式存储节点；所述一级异常处理模块包括第一正式存储模块、第一打包压缩存储关联模块、紧急标识添加模块和紧急标识后续处理模块，所述第一正式存储模块在具有一级级别标识的日志文件上存在异常时将该日志文件作为第一异常日志文件，并将第一异常日志文件存储到正式存储节点，并传输信息令第一打包压缩存储关联模块获取缓冲存储节点内最近一段预设时长内的日志文件，将其打包压缩传输到正式存储节点后与第一异常日志文件相关联，并令紧急标识添加模块获取产生第一异常日志文件的相应的一级监控对象，将其在有效时间长度内产生的日志文件添加紧急标识，其中，当日志文件上添加有紧急标识时，将该日志文件直接存储到正式存储节点，所述紧急标识后续处理模块用于获取正式存储节点带有紧急标识的日志文件的最晚存储时间，如果当前时间与最晚存入的时间间隔大于等于第一时间阈值，将正式存储节点内未被打包压缩且带有紧急标识的日志文件打包压缩，并将打包压缩后的文件与其相应的第一异常日志文件相关联，其中，当紧急标识到达有效时间长度时，取消在该一级监控对象产生的日志文件上添加紧急标识；

所述二级无异常处理模块包括第二缓冲存储模块和删除判断模块，所述第二缓冲存储模块在判断该具有二级级别标识的日志文件不存在异常时将该日志文件存储到缓冲存储节点，所述删除判断模块获取各个具有二级级别标识的日志文件的存入时间与当前时间的时间间隔，如果时间间隔大于等于第一时间间隔阈值，将该日志文件从缓冲存储节点中删除，所述二级异常处理模块包括第二正式存储模块、第二打包压缩存储关联模块、限制标识添加模块和限制标识修改模块，所述第二正式存储模块在具有二级级别标识的日志文件上存在异常时将该日志文件作为第二异常日志文件，并将第二异常日志文件存储到正式存储节点，并传输信息令第二打包压缩存储关联模块获取缓冲存储节点内最近一段预设时长内的日志文件，将其打包压缩传输到正式存储节点后与第二异常日志文件相关联，所述限制标识添加模块用于获取产生第二异常日志文件的相应的二级监控对象，将该二级监控对象产生的日志文件上的二级级别标识修改为带有有效时长的一级级别标识和带有有效时长的紧急标识，所述限制标识修改模块在二级监控对象产生的日志文件的带有一级级别标识的实际时长大于等于有效时长时，删除日志文件上的带有有效时长的紧急标识，并将带有有效时长的一级级别标识修改为二级级别标识；

所述监控分析方法包括以下步骤：

预先给各个监控对象分类，所述监控对象分类包括一级监控对象和二级监控对象，当一级监控对象运行产生日志文件时，给该日志文件添加一级级别标识，当二级监控对象运行产生日志文件时，给该日志文件添加二级级别标识，

识别监控对象运行产生日志文件上的级别标识，根据日志文件上不同的级别标识确定日志文件的存储方式；

所述根据日志文件上不同的级别标识确定日志文件的存储方式包括：

如果识别日志文件上的级别标识为一级级别标识，判断该日志文件是否存在异常，

如果该日志文件不存在异常，先将该日志文件存储到缓冲存储节点，再将其存入正式存储节点；

如果该日志文件上存在异常，则该日志文件为第一异常日志文件，立即将第一异常日志文件存储到正式存储节点，同时获取缓冲存储节点内最近一段预设时长内的日志文件，将其打包压缩传输到正式存储节点后与第一异常日志文件相关联，并且获取产生第一异常日志文件的相应的一级监控对象，将其在有效时间长度内产生的日志文件添加紧急标识，其中，当日志文件上添加有紧急标识时，将该日志文件直接存储到正式存储节点；

所述将其在有效时间长度内产生的日志文件添加紧急标识后还包括：

获取正式存储节点带有紧急标识的日志文件的最晚存储时间，如果当前时间与最晚存入的时间间隔大于等于第一时间阈值，将正式存储节点内未被打包压缩且带有紧急标识的日志文件打包压缩，并将打包压缩后的文件与其相应的第一异常日志文件相关联，其中，当紧急标识到达有效时间长度时，取消在该一级监控对象产生的日志文件上添加紧急标识；

所述先将该日志文件存储到缓冲存储节点，当再将其存入正式存储节点包括获取缓冲存储节点已存入某监控对象日志文件的占用内存，如果已存入某监控对象日志文件的占用内存大于等于内存阈值，获取缓冲存储节点该监控对象各个日志文件的存入时间以及当前该监控对象所存储日志文件的最早存入时间，将存入时间与最早存入时间的时间间隔大于等于第二时间间隔阈值的日志文件以及最早存入的日志文件一起打包压缩发送至正式存储节点；

所述根据日志文件上不同的级别标识确定日志文件的存储方式还包括：

如果识别日志文件上的级别标识为二级级别标识，判断该日志文件是否存在异常，如果该日志文件不存在异常，将该日志文件存储到缓冲存储节点，获取各个日志文件的存入时间与当前时间的时间间隔，如果时间间隔大于等于第一时间间隔阈值，将该日志文件从缓冲存储节点中删除；

如果该日志文件存在异常，则该日志文件为第二异常日志文件，直接将第二异常日志文件存储到正式存储节点，获取缓冲存储节点内最近一段预设时长内的日志文件，将其打包压缩传输到正式存储节点后与第二异常日志文件相关联，获取产生第二异常日志文件的相应的二级监控对象，将该二级监控对象产生的日志文件上的二级级别标识修改为带有有效时长的一级级别标识和带有有效时长的紧急标识；

所述将该二级监控对象产生的日志文件上的二级级别标识修改为带有有效时长的一级级别标识和带有有效时长的紧急标识后还包括：当二级监控对象产生的日志文件的带有一级级别标识的实际时长大于等于有效时长，删除日志文件上的带有有效时长的紧急标识，并将带有有效时长的一级级别标识修改为二级级别标识。