[发明专利]一种Hadoop集群下的用户行为异常检测方法

摘要

本发明公开了一种Hadoop集群下的用户行为异常检测方法，该方法通过采集和分析用户行为数据，以日志形式记录下来，根据用户的行为特征形成特征向量，利用并行主成分分析算法处理特征向量集，高效的获得用户的行为模式，通过与历史模式对比发现用户在访问HDFS时产生的异常行为问题，同时发现Hadoop集群下隐藏的安全威胁，达到保障HDFS安全的效果。本发明不仅对用户的数据访问行为建立有效的监控，及时的发现异常行为，保障Hadoop集群的数据安全，还通过并行化主成分分析算法提高模型训练效率，解决传统模型训练效率低的问题。

主权项

一种Hadoop集群下的用户行为异常检测方法，其特征在于,它包括以下步骤：S1:用户行为数据采集，所述用户行为数据包括用户访问Hadoop集群HDFS的审计记录；S2:数据预处理，针对每一个用户的审计记录，基于一个时间窗口，统计该时间窗口内的用户行为特征，构成一个特征向量，再依次运用于不同的用户和不同的时间窗口，便得到包含多个用户及其不同时段行为特征的特征向量集；S3:模型训练，分别抽取每个用户的部分特征向量集作为训练数据并构造为样本数据矩阵，对样本数据进行降维处理，得到样本均值和变换矩阵，所述的变换矩阵把样本由原空间映射到主成分子空间；S4:用户行为异常检测。