[发明专利]一种基于日志平台的智能分析方法

权利要求书

1.一种基于日志平台的智能分析方法，其特征在于，包括如下步骤：

第一步，获取Nginx服务器的日志数据，通过flume模块采集nginx服务器中的日志文件，并将所述日志文件转移并保存到 HDFS系统中；

第二步，将正常日志和异常日志各自形成对应的簇，对系统日志及系统硬件数据进行实时收集；

第三步，对日志信息进行正则处理，得到关键特征值，对日志文本进行向量化；

第四步，针对提取出的特征值对日志文本以及硬件方面产生的实时数据进行统一向量化，得出多维矩阵；对向量化的日志进行降维处理；

第五步，对降维后的矩阵进行聚类操作，将不同的攻击类型分类，形成多个簇，以备后续的检验操作；

第六步，对构建的模型进行检验，分析检测效果。

2.根据权利要求1所述的智能分析方法，其特征在于，第一步中包括系统正常状态下的日志信息和系统遭受外部攻击时所产生的日志信息；其中，系统正常日志信息量多于异常日志信息量。

3.根据权利要求1所述的智能分析方法，其特征在于，向量化特征包括：日志条数、持续时间、平均间隔、nginx status connections active、nginxstatus connectionsreading、nginx status server requests、nginx statusconnections writing的14维特征值。

4.根据权利要求1所述的智能分析方法，其特征在于，所述基于日志平台的智能分析方法包括：

步骤一，通过信息采集模块在多域系统中得到正常状态以及系统遭受外部攻击时的日志信息；

步骤二，对正常日志进行处理；1)通过正则过滤日志文本；2)日志文本向量化，选取14维度特征值表示一个事件；3)利用PCA对矩阵进行降维；4)对降维后的矩阵进行聚类，得到多个簇；

步骤三，对异常入侵检测进行验证。

5.根据权利要求4所述的智能分析方法，其特征在于，所述步骤三进一步包括：1)将待验证的日志综合系统硬件的数据向量化，形成待检验矩阵；2)通过PCA降维将矩阵降成4维；3)先判断待检验矩阵是否为正常情况下的日志，即先通过计算得到距离正常簇的距离，若可以规划到正常簇，则认为是正常日志，如果是，则验证完毕；反之，执行4)；4)已验证待检测矩阵是系统处在非正常运行状态下，再次和异常簇进行聚类，计算矩阵到已知异常簇的距离，若存在，则将异常归结为该种类攻击，否则，将把该异常看做一种新的攻击种类，加入学习中。

6.根据权利要求1所述的智能分析方法，其特征在于，日志来源多个子域，其中包含着行为日志、运行日志。