[发明专利]一种基于大数据机器学习的异常行为发现方法及系统

说明书

本发明公开了一种基于大数据机器学习的异常行为发现方法及系统，该方法包括：对原始安全日志数据进行预处理；从经过预处理的结果中提取特征数据；对所述特征数据进行聚类，确定异常行为库和正常行为库；获取新的安全日中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为，用该新行为样本数据更新所述正常行为库或异常行为库；重复前一步骤，当所述正常行为库和异常行为库具有足够的正常行为和异常行为样本数据时，用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型进行异常行为判定。通过该发明的方案，解决了初期含标签样本数量过少的问题,提高了判定准确率，有效防止误判情况的发生。

技术领域

本发明涉及数据安全领域，具体涉及一种基于大数据机器学习的异常行为发现方法及系统。

背景技术

传统网络安全、数据安全技术，如各类软、硬件防火墙，普遍采用“栅栏式”防护策略，给网络和应用系统人为添加了很多限制，任何数据访问动作都需要经过所有预设规则的过滤，不仅影响系统的用户体验，也增加系统运行负担。此外，现有安全软件中，生成一条内置规则，一般需要漏洞发现、攻击模拟、报文分析、特征提取和规则生成等多个阶段。随着攻击手段不断更新，这样的规则生成过程也需要不断重复，耗费大量人力成本。更重要的是，传统防护无法应对大数据。基于此，现提供一种基于大数据机器学习的异常行为发现方法，变被动防御为主动审查，放宽用户准入而加强行为监测，由机器代替人工。

附图1是现有技术中基于大数据日志分析的管理用户异常行为发现流程，具体包括：

(1)待分析的日志存放于日志池中。

(2)将日志池通过接口模块连接预处理模块。

(3)将预处理模块连接分析模块，人工进行统计分析，建立规则。

(4)根据建立的规则对行为日志进行判定，将判定为异常行为的日志存入知识库中。

(5)将可视化模块连接服务模块，可视化模块将日志分析的异常行为轨迹在用户界面进行可视化展现。

现有技术存在以下缺点：

(1)数据源单一，只针对日志进行分析处理。

(2)无法实时判定异常行为及用户。

(3)全部依赖于人工统计分析，成本较高且容易出现对行为的错误判定。

因此，需要解决以下技术问题：

(1)实现对结构化数据、半结构化数据、非结构化数据的接收、存储、处理挖掘。

(2)使用机器学习建模代替人工，提高判定准确率而且节省人工成本。此外，训练出的模型既可用于批量离线行为判定，又可用于在线准实时行为判定。

(3)对异常行为的识别不再依赖系统预置的强大安全规则库，而是通过自适应的方式不断进行自我完善。

发明内容

为解决上述技术问题，本发明提供了一种基于大数据机器学习的异常行为发现方法，包括以下步骤：

1)对原始安全日志数据进行预处理；

2)从经过预处理的结果中提取特征数据；

3)对所述特征数据进行聚类，确定所述原始安全日志数据中的各个行为样本为异常行为样本或正常行为样本，并分别放入异常行为库或正常行为库；

4)获取新的安全日中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为；

5)用该新行为样本数据更新所述正常行为库或异常行为库；