[发明专利]一种基于大数据机器学习的异常行为发现方法及系统

摘要

本发明公开了一种基于大数据机器学习的异常行为发现方法及系统，该方法包括：对原始安全日志数据进行预处理；从经过预处理的结果中提取特征数据；对所述特征数据进行聚类，确定异常行为库和正常行为库；获取新的安全日中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为，用该新行为样本数据更新所述正常行为库或异常行为库；重复前一步骤，当所述正常行为库和异常行为库具有足够的正常行为和异常行为样本数据时，用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型进行异常行为判定。通过该发明的方案，解决了初期含标签样本数量过少的问题,提高了判定准确率，有效防止误判情况的发生。

主权项

1.一种基于大数据机器学习的异常行为发现方法，包括以下步骤：/n1)对原始安全日志数据进行预处理；/n2)从经过预处理的结果中提取特征数据；/n3)对所述特征数据进行聚类，确定所述原始安全日志数据中的各个行为样本为异常行为样本或正常行为样本，并分别放入异常行为库或正常行为库；/n4)获取新的安全日志中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为；/n5)用该新行为样本数据更新所述正常行为库或异常行为库；/n6)当所述正常行为库和异常行为库具有数量符合的正常行为和异常行为样本数据时，跳转到步骤7)，否则跳转到步骤4)；/n7)用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型分别部署在实时处理模块和离线处理模块，以对后续的新行为样本数据进行异常行为判定，输入新样本行为数据后，复制为两份相同的样本数据，分别输入所述实时处理模块和离线处理模块；/n所述实时处理模块提供流式计算能力，以准实时的方式进行用户行为判定，判定结果存入对用户提供实时数据服务的高性能数据库；所述离线处理模块提供海量数据的批处理能力，用来训练模型和批量离线判定，所述离线处理模块包含多个定时任务，以全量或增量方式处理数据集合，判定结果存入所述高性能数据库；/n8)用步骤7)所述的新样本行为数据更新所述正常行为库或异常行为库。/n