[发明专利]一种基于大数据机器学习的异常行为发现方法

权利要求书

1.一种基于大数据机器学习的异常行为发现方法，其特征在于，包括以下步骤：

S1：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单元连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；

S2：数据预处理：通过学习单元统计一个周期内的原始日志数据，并利用机器学习通过离线方式对原始日志数据进行特征处理，提取原始日志数据的特征数据，并将所述特征数据进行聚类，具体过程如下：

S201：接收模块通过通用的接口接入原始日志数据；

S202：利用特征提取模块对原始日志数据样本进行特征提取、标准化处理和向量化处理；

S203：聚类模块对特征向量进行集聚，构成特征向量集合，特征向量集合中每一个特征向量对应一个样本信息，每一个特征向量包含各类特征数据；

所述S203具体过程如下：

S2031：聚类模块预将数据分为K组，则随机选取K个对象作为初始的种子聚类中心；

S2032：计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类，每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算；

S2033：将聚类后含实例少于某个阈值或实例明显少于其它类的类标记为异常类，类中的实例标记为异常行为，将聚类后含实例明显集中或实例明显多于异常类的标记为正常类，其中的实例标记为正常行为，范围值分为数值型正常行为范围值和数值型异常行为范围值；

S3：填充知识库：根据特征数据中的键值区分数据属于数值型还是字符型，根据数据类型，分别建立数值型知识库和字符型知识库；

建立数值型知识库中，通过对数值型数据进行特征增维，在特征增维后，通过傅里叶变换计算其周期性，并且进行周期检测，如果存在周期性，根据周期性预测数据时序性，如果所述数值型数据的实际值与预测值在正常行为范围值内，则判定为数值正常行为，同样的，所述数值型数据的实际值与预测值在异常范围值内，则判定为数值异常行为，如果不存在周期性，对数据进行线性相关预测，并将预测值与实际值分别与范围值进行比较，判定数值是否异常；

建立字符型知识库时，对属于字符型的数据采用n-gram分词器进行分词，并进行熵计算，再根据熵的值判断字符串存在的规律，然后进行聚类计算离群点，从而识别异常数据；

S4：行为异常判定：学习单元接收新的安全日志中的新行为样本数据，并对新行为样本数据进行特征处理，执行单元比较数值型知识库或者字符型知识库，判定该行为样本数据为正常行为、异常行为或者待处理行为；

正常行为处理办法：将正常行为样本数据存入至正常行为知识库中，丰富正常行为知识库；

异常行为处理办法：报告行为异常，将判定为异常行为样本数据存入至异常行为知识库，更新异常行为知识库；

待处理行为处理办法：当遇到无法根据样本知识库进行判定正常行为或者异常行为的新行为样本数据，将其转送至反馈单元，跳转进入S6；

S5：更新知识库：反馈单元用正常行为知识库和异常行为知识库中的样本数据训练分类模型，利用经过训练得到的分类模型分别部署在实时处理模块和离线处理模块，以对后续的新行为样本数据进行异常行为判定；

S6：人工研判：人为通过反馈单元判断待处理行为样本数据是否为符合正常行为，如若是，则存入至正常知识库，如若为否，则进入异常知识库；

S7：新行为样本判定：对后续新行为样本数据进行异常行为判定，跳转进入至S4。

2.如权利要求1所述的一种基于大数据机器学习的异常行为发现方法，其特征在于：S3包括如下步骤：

建立数值型知识库：对属于数值型的数据进行周期性行为计算，通过机器学习算法建模，建立数值正常行为知识库和数值异常行为知识库，并将对应的数值型数据存入相应的知识库；

建立字符型知识库：对属于字符型的数据进行分词处理判断字符熵，并通过机器学习算法建模，计算离群点从而区分异常数据，同时建立字符正常行为知识库和字符异常行为知识库，并将对应的字符型数据存入相应的知识库。