[发明专利]一种基于大数据机器学习的异常行为发现方法及系统

权利要求书

1.一种基于大数据机器学习的异常行为发现方法，包括以下步骤：

1)对原始安全日志数据进行预处理；

2)从经过预处理的结果中提取特征数据；

3)对所述特征数据进行聚类，确定所述原始安全日志数据中的各个行为样本为异常行为样本或正常行为样本，并分别放入异常行为库或正常行为库；

4)获取新的安全日志中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为；

5)用该新行为样本数据更新所述正常行为库或异常行为库；

6)当所述正常行为库和异常行为库具有数量符合的正常行为和异常行为样本数据时，跳转到步骤7)，否则跳转到步骤4)；

7)用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型分别部署在实时处理模块和离线处理模块，以对后续的新行为样本数据进行异常行为判定，输入新样本行为数据后，复制为两份相同的样本数据，分别输入所述实时处理模块和离线处理模块；

所述实时处理模块提供流式计算能力，以准实时的方式进行用户行为判定，判定结果存入对用户提供实时数据服务的高性能数据库；所述离线处理模块提供海量数据的批处理能力，用来训练模型和批量离线判定，所述离线处理模块包含多个定时任务，以全量或增量方式处理数据集合，判定结果存入所述高性能数据库；

8)用步骤7)所述的新样本行为数据更新所述正常行为库或异常行为库。

2.根据权利要求1所述的方法，所述步骤2)中提取的特征数据，包括：用户使用终端的时间、操作行为类别、操作的文件类型；对所提取的特征数据进行向量化。

3.根据权利要求1所述的方法，所述步骤3)包括：使用Mllib对所述特征数据进行聚类，具体包括：先用Canopy算法确定K个聚类中心，然后进行K-Means聚类，将聚类后含实例少于某个阈值的类标记为异常类，类中的实例标记为异常行为，其它类为正常类，其中的实例标记为正常行为。

4.根据权利要求1所述的方法，所述步骤4)包括：在所述正常行为库中随机抽取部分样本数据用于KNN算法发现异常行为，如果所述新行为样本数据与所述随机抽取的样本数据的距离均大于设定的阈值，则该新行为样本数据的行为是异常行为，否则为正常行为；如果该异常行为经过人工研判为正常行为的，则为正常行为；分别用所述正常行为或异常行为相应的样本数据更新所述正常行为库或异常行为库。

5.一种基于大数据机器学习的异常行为发现系统，包括：

预处理模块，对原始安全日志数据进行预处理；

特征数据提取模块，从经过预处理的结果中提取特征数据；

聚类模块，对所述特征数据进行聚类，确定所述原始安全日志数据中的各个行为样本为异常行为样本或正常行为样本，并分别放入异常行为库或正常行为库；

行为库生成模块，获取新的安全日志中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为；

更新模块，用该新行为样本数据更新所述正常行为库或异常行为库；

行为判定模块，用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型分别部署在实时处理模块和离线处理模块，以后续的新行为样本数据进行异常行为判定，输入新样本行为数据后，复制为两份相同的样本数据，分别输入所述实时处理模块和离线处理模块；所述实时处理模块提供流式计算能力，以准实时的方式进行用户行为判定，判定结果存入对用户提供实时数据服务的高性能数据库；所述离线处理模块提供海量数据的批处理能力，用来训练模型和批量离线判定，所述离线处理模块包含多个定时任务，以全量或增量方式处理数据集合，判定结果存入所述高性能数据库；

再次更新模块，用所述行为判定模块处理的新样本行为数据更新所述正常行为库或异常行为库。

6.根据权利要求5所述的系统，提取的特征数据，包括：用户使用终端的时间、操作类别、操作的文件类型；对所提取的特征数据进行向量化。