[发明专利]一种带有警报功能的高安全性大数据分析方法

权利要求书

1.一种带有警报功能的高安全性大数据分析方法，其特征在于，包括如下步骤：

步骤一，用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷IC卡分别进入工号验证通道和IC卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；

步骤二，首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；

步骤三、包括:

通过对处理后的数据进行基本的统计，进行初步的异常检测；

采用聚类的方法来对所述统计分析得到的数据特征进行聚类，发现潜在和未知数据异常；和/或

采用这些标签化的数据训练异常行为识别分类器，发现异常数据，并确认准确性；

步骤四、分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；

步骤五、根据不同等级的警报信息进行数据态势建模处理，再通过数据结果显示模块以3D虚拟形式进行建模展示，且传输的警报信息最后存储至数据存储模块内。

2.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，所述在步骤一中证件验证通道输入的身份证编号仅为后六位数字，且身份证编号最后一位X用#代替，且附加本人移动电话号码。

3.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，所述在步骤一中工号验证通道输入的员工工号个数范围介于6-12位，且工号信息包括公司拼音简称、员工入职日期以及员工所处编号。

4.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，所述在步骤二中上传的数据种类包括安全设备的日志、主机和服务器的日志、网络中传输的原始报文(pcap包)和netflow数据以及HR内部系统数据，HR内部系统数据包括人员所属的部门、权限、主管职务范围以及分管职务范围。

5.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，包括：

通过对处理后的数据进行基本的统计，最大值、最小值、均值、标准差等，可以找出数据特征的变化范围与规律，即变量的基线，再对得到的基线进行初步的异常检测，如针对特定的一个用户，检测其从内部服务器上传数据文件的行为，如果某个时段其上传数据文件的频率的数据量与历史时期相比明显增加，那么这个用户可能有恶意盗取数据或者账号被盜的异常。

6.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，采用聚类的方法来对所述统计分析得到的数据特征进行聚类，发现潜在和未知数据异常，包括：

由于上传的原始数据和经过预处理的数据大部分是无标签数据，无监督分析模块可对无标签数据进行分析，并采用聚类的方法来对统计分析得到的数据特征进行聚类，可以找出数据的多维度基线，由于很多数据从单个维度看不存在异常，而多个维度放在一起分析后，就可能会存在异常，从而聚类分析方法可基于多维度的基线找出数据中的离群点，发现潜在的和未知的数据异常。

7.根据权利要求1所述的带有警报功能的高安全性大数据分析方法，其特征在于，采用这些标签化的数据训练异常行为识别分类器，发现异常数据，并确认准确性，包括：

采用这些标签化的数据训练异常行为识别分类器，如神经网络间，决策树等，利用训练好的分类器对未知的数据进行检测，可以发现异常的数据，并给出异常的评分，分类器输出的异常数据经过安全管理员确认后，得到真实的告警和误报，真实的告警作为新的规则输入到平台中，且误报作为白名单输入到分类器的训练集，然后迭代的训练分类器，逐步提高分类器的准确性。