[发明专利]一种带有警报功能的高安全性大数据分析方法

说明书

本发明提供一种带有警报功能的高安全性大数据分析方法，包括如下步骤：步骤一、实名认证单元：用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证。本发明通过实名认证单元的配合，可对上传数据的用户身份进行严格认证，防止不法分子和竞争对手混入，造成企业机密的泄漏，提高数据上传过程中的安全性，通过数据处理单元，可对上传的数据进行预先处理，通过数据分析单元的配合，可分别利用基础统计分析模块、无监督分析模块以及有监督分析模块三种分析方式对数据进行精准分析。

技术领域

本发明涉及大数据分析领域，尤其涉及一种带有警报功能的高安全性大数据分析方法。

背景技术

大数据分析是指对规模巨大的数据进行分析，大数据可以概括为5个V，数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。

在对于一些体量较为庞大的企业来说，需要用到大数据分析方法对海量数据进行分析处理，然而现有的大数据分析方法在分析过程中，不可对数据进行精准分析，易出现漏报、错报和误报的情况，从而不可对分析后的数据状态进行等级警报，影响企业的整体机制运行，久而久之，易影响企业的整体公司架构。

因此，有必要提供一种带有警报功能的高安全性大数据分析方法解决上述技术问题。

发明内容

本发明提供一种带有警报功能的高安全性大数据分析方法，解决了现有的大数据分析方法在分析过程中，不可对数据进行精准分析，易出现漏报、错报和误报的情况，从而不可对分析后的数据状态进行等级警报的问题。

为解决上述技术问题，本发明提供的带有警报功能的高安全性大数据分析方法，包括如下步骤：

步骤一、实名认证单元：用户预先通过实名认证单元进行实名认证后上传数据，实名认证单元分为三种方式可供不同用户选择，游客用户可输入本人身份证编号进入证件验证通道进行身份验证，内部员工可输入工号和刷IC卡分别进入工号验证通道和IC卡验证通道进行身份验证，身份验证完成后，用户将数据进行上传；

步骤二、数据处理单元：首先接收用户上传数据，再对上传数据进行解析，再将解析后的数据经过去重、清洗、自动补全处理后转化为结构化数据，然后进入预处理阶段，预处理阶段再对数据进行快速的检测，主要采用规则检测的方法检测比较明显的异常，经过预处理后的数据存储在存储模块内；

步骤三、数据分析单元：通过对处理后的数据进行基本的统计，包括最大值、最小值、均值、标准差等，可以找出数据特征的变化范围与规律，即变量的基线，再对得到的基线进行初步的异常检测，如针对特定的一个用户，检测其从内部服务器上传数据文件的行为，如果某个时段其上传数据文件的频率的数据量与历史时期相比明显增加，那么这个用户可能有恶意盗取数据或者账号被盜的异常；

由于上传的原始数据和经过预处理的数据大部分是无标签数据，无监督分析模块可对无标签数据进行分析，并采用聚类的方法来对统计分析得到的数据特征进行聚类，可以找出数据的多维度基线，由于很多数据从单个维度看不存在异常，而多个维度放在一起分析后，就可能会存在异常，从而聚类分析方法可基于多维度的基线找出数据中的离群点，发现潜在的和未知的数据异常；

采用这些标签化的数据训练异常行为识别分类器，如神经网络间，决策树等，利用训练好的分类器对未知的数据进行检测，可以发现异常的数据，并给出异常的评分，分类器输出的异常数据经过安全管理员确认后，得到真实的告警和误报，真实的告警作为新的规则输入到平台中，且误报作为白名单输入到分类器的训练集，然后迭代的训练分类器，逐步提高分类器的准确性；

步骤四、数据警报单元：分析处理后的数据传输至数据报警单元，接着数据整理分类单元对产生的警报信息进行统一规整分类，且分别传输至三级内网警报模块、二级外网警报模块、一级平台警报模块进行不同等级报警处理；