[发明专利]一种基于大数据机器学习的异常行为发现方法

说明书

本发明公开了一种基于大数据机器学习的异常行为发现方法，包括以下步骤：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；数据预处理：通过学习单元统计一个周期内的原始日志数据。本基于大数据机器学习的异常行为发现方法，通过数值型数据库和字符型数据库分类对不同的类型的数据建立知识库，存储异常行为数据和正常行为数据，能够有针对的对数据进分类判定，提高判定的准确性，另外阈值分为数值型正常行为阈值、数值型异常行为阈值、字符型正常行为阈值和字符型异常行为阈值，将阈值范围缩小，减小需要人为判定的异常行为。

技术领域

本发明涉及数据安全技术领域，特别涉及一种基于大数据机器学习的异常行为发现方法。

背景技术

传统网络安全、数据安全技术，如各类软、硬件防火墙，普遍采用“栅栏式”防护策略，给网络和应用系统人为添加了很多限制，任何数据访问动作都需要经过所有预设规则的过滤，不仅影响系统的用户体验，也增加系统运行负担。此外，现有安全软件中，生成一条内置规则，一般需要漏洞发现、攻击模拟、报文分析、特征提取和规则生成等多个阶段。随着攻击手段不断更新，这样的规则生成过程也需要不断重复，耗费大量人力成本。更重要的是，传统防护无法应对大数据。基于此，现提供一种基于大数据机器学习的异常行为发现方法，变被动防御为主动审查，放宽用户准入而加强行为监测，由机器代替人工。

现有技术存在以下缺点：

(1)数据源单一，只针对日志进行分析处理。

(2)无法实时判定异常行为及用户。

(3)全部依赖于人工统计分析，成本较高且容易出现对行为的错误判定。

中国专利CN106778259B公开了一种基于大数据机器学习的异常行为发现方法及系统，该方法包括：对原始安全日志数据进行预处理；从经过预处理的结果中提取特征数据；对所述特征数据进行聚类，确定异常行为库和正常行为库；获取新的安全日中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为，用该新行为样本数据更新所述正常行为库或异常行为库；重复前一步骤，当所述正常行为库和异常行为库具有足够的正常行为和异常行为样本数据时，用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型进行异常行为判定。通过该发明的方案，解决了初期含标签样本数量过少的问题,提高了判定准确率，有效防止误判情况的发生。

该申请虽然在一定程度上解决了背景技术中的问题，但是该申请中在对所有的异常行为均需要人工判定，在对原始数据向量化处理式时，可以缩小异常数据的范围，从而确定某些常识性异常行为，缩小人工判定范围，且在更新知识库时，只通过一种算法确定数据训练随机森林模型，随着后续新的行为数据的录入，判定模型的准确性可能会出现误差。

发明内容

本发明的目的在于提供一种基于大数据机器学习的异常行为发现方法，通过数值型知识库和字符型知识库分类对不同的类型的数据建立知识库，存储异常行为数据和正常行为数据，能够有针对的对数据进分类判定，提高判定的准确性，另外范围值分为数值型正常行为范围值、数值型异常行为范围值、字符型正常行为范围值和字符型异常行为范围值，将范围值范围缩小，减小需要人为判定的异常行为，缩小人为工作量，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于大数据机器学习的异常行为发现方法，包括以下步骤：

S1：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；