[发明专利]一种大数据平台的动态数据脱敏方法及系统

说明书

技术领域

本发明属于电力信息大数据动态脱敏领域，特别涉及一种大数据平台的动态数据脱敏方法及系统。

背景技术

自国务院发布《关于促进大数据发展的行动纲要》以来，大数据在我国的发展与应用上升到国家战略层面，随着国家大数据战略的推进和大数据应用的逐步深化，电力大数据的发展已进入全新阶段。全球诸多国家政府以及国际组织都认识到了大数据在各个领域的重要价值，大数据正在成为各领域新一轮竞争的重要发力点，随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战—数据信息安全。电力数据信息作为“克强指数”的一项重要，在宏观调控、社会保障等方面的决策中起着及其重要的作用，因此电力数据的安全也备受关注。

大数据平台作为支撑国家电网公司信息化建设的重要支撑平台，存储了大量的电网结构化、非结构化、半结构化数据，为了降低数据在存储、传输及使用等环节造成数据泄露的风险，亟须出现一种安全、可靠、快速的数据脱敏方法。

我国现阶段国家电网系统主要采用的是Hadoop生态系统作为大数据分布式系统基础架构，Hadoop生态系统的大数据平台随着企业的不断采用及开源组织的持续的优化、增强，已逐渐成为大数据平台建设的标准产品。然而Hadoop最初的设计并未考虑其安全性，这些平台专注于发展数据处理能力，忽视了其他能力的发展，但Hadoop生态系统作为一个分布式系统，承载了丰富的应用，集中了海量的数据，如何管理和保护这些数据充满了挑战，当前市场上，大数据平台在数据本身的安全管控方面普遍存在严重缺失和较大的漏洞。

从企业内部来说，大数据平台的安全管控能力缺失，使得平台在数据存储、处理以及使用等各环节造成数据泄露的风险较大，安全风险面广，且缺乏有效的处理机制；另一方面，企业敏感数据的所有权和使用权缺乏明确界定和管理，可能造成用户隐私信息的泄露和企业内部数据的泄露，直接造成企业声誉和经济的双重损失。

本方法针对大数据敏感数据信息，通过对敏感数据的模糊化，确保敏感数据信息安全可靠，保证大数据平台安全的建设，填补大数据平台数据安全防护方面的空缺，有效降低大数据安全管控方面的风险。

发明内容

本发明通过利用户权限控制策略、数据置换加密方式及敏感字检查方式相结合，从数据加密方面解决大数据平台在数据安全方面的缺陷，提升了大数据平台的安全性，填补大数据平台数据安全防护方面的空缺，有效降低大数据安全管控方面的风险；本发明一种大数据平台的动态数据脱敏方法，其步骤如下：

步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等；

步骤2：抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台；

步骤3：存储业务数据结合各类数据特点和大数据平台的存储特点，通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据；

步骤4：敏感数据判断在业务应用调用各类数据时，基于数据脱敏的配置方法，根据业务应用使用者所具备的数据查看权限和数据敏感程度，进行敏感数据脱敏判断，如果使用者权限较低或者数据敏感级别较高，则触发数据脱敏处理，如果使用者权限较高或者数据敏感级别较低，未触发数据脱密进程，则直接为业务使用者展示数据；

步骤5：根据信息规则库的脱敏方法，利用随机函数进行随机匹配，对需要脱敏的数据进行数据脱敏；

步骤6：将脱敏后的数据向使用者展示；

上述一种大数据平台的动态数据脱敏方法，步骤4判断敏感数据通过设置敏感数据配置方法，平台自动识别敏感数据，发现敏感数据后产生报警，保障数据在产生阶段安全，敏感数据发现功能包括：信息规则库建立、关系型数据检测、敏感字段、内容描述四个部分；

上述一种大数据平台的动态数据脱敏方法，步骤5数据脱敏针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能，保障敏感数据访问安全，同时基于大数据安全分析技术，发现敏感数据访问的异常行为，并提供敏感数据视图，实现全局化数据管理和对各种类别敏感数据脱敏的精细化管理；通过数据脱敏及模糊化功能模块在数据库层面对数据进行屏蔽、加密、隐藏、审计或封锁访问途径的方式，该模块作为一个网关形式部署，所有需要进行敏感数据动态脱敏的应用系统需通过该产品实现对数据库的访问；