[发明专利]一种大数据平台的动态数据脱敏方法及系统

权利要求书

1.本发明一种大数据平台的动态数据脱敏方法及系统，其方法步骤如下：步骤1获取业务数据通过各业务应用系统通过数据采集设备、实际业务流程、窗口录入、接口数据传入等方式获取各业务线得业务数据、外部数据等；步骤2：抽取业务数据通过ETL数据抽取工具、大数据平台接口组件等数据抽取工具根据各类数据特点和数据产生的时效性等将各业务系统的结构化、非结构化、海量等数据抽取至大数据平台；步骤3：存储业务数据结合各类数据特点和大数据平台的存储特点，通过mysql、prosgresql等关系性数据库、文件文件存储等方式存储各位业务数据；步骤4：敏感数据判断在业务应用调用各类数据时，基于数据脱敏的配置方法，根据业务应用使用者所具备的数据查看权限和数据敏感程度，进行敏感数据脱敏判断，如果使用者权限较低或者数据敏感级别较高，则触发数据脱敏处理，如果使用者权限较高或者数据敏感级别较低，未触发数据脱密进程，则直接为业务使用者展示数据；步骤5：根据信息规则库的脱敏方法，利用随机函数进行随机匹配，对需要脱敏的数据进行数据脱敏；步骤6：将脱敏后的数据向使用者展示；一种大数据平台的动态数据脱敏系统，由数据源模块、存储模块、计算模块、脱敏模块、应用模块组成，其连接方式为顺序连接。

2.根据权利要求1中所述，一种大数据平台的动态数据脱敏方法，步骤4判断敏感数据通过设置敏感数据配置方法，平台自动识别敏感数据，发现敏感数据后产生报警，保障数据在产生阶段安全，敏感数据发现功能包括：信息规则库建立、关系型数据检测、敏感字段、内容描述四个部分。

3.根据权利要求1所述，一种大数据平台的动态数据脱敏方法，步骤5数据脱敏针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能，保障敏感数据访问安全，同时基于大数据安全分析技术，发现敏感数据访问的异常行为，并提供敏感数据视图，实现全局化数据管理和对各种类别敏感数据脱敏的精细化管理；通过数据脱敏及模糊化功能模块在数据库层面对数据进行屏蔽、加密、隐藏、审计或封锁访问途径的方式，该模块作为一个网关形式部署，所有需要进行敏感数据动态脱敏的应用系统需通过该产品实现对数据库的访问。

4.根据权利要求1所述，一种大数据平台的动态数据脱敏系统，其特征在于，数据源模块包括用电采集系统和营销业务应用系统的配变负荷数据、配电变压器所属区域数据、设备信息、客户信息数据、电流电压数据信息。

5.根据权利要求1所述，一种大数据平台的动态数据脱敏系统，其特征在于，存储模块采用关系数数据库、分布式文件系统、分布式在线数据库等存储技术，提供关系型数据存储、分布式文件存储数据存储能力，同时提供统一存储访问接口。

6.根据权利要求1所述，一种大数据平台的动态数据脱敏系统，其特征在于，计算模块提供批量计量、流计算等数据处理技术，并支撑SQL查询，满足不同时效性计算需求；批量计算支持大批量数据离线分析，如历史数据报表分析；流计算支持实时处理，如用电数据实时处理、预警；同时提供类似SQL的查询分析技术，将查询语句转译为并行的分布式计算任务。

7.根据权利要求1所述，一种大数据平台的动态数据脱敏系统，其特征在于，脱敏模块依据数据库用户名、IP、客户端工具类型、访问时间，甚至业务用户身份等多重身份特征进行访问控制，对生产数据库中返回的数据可以进行放行、屏蔽、隐藏、返回行控制等多种脱敏方法。

8.根据权利要求1所述，一种大数据平台的动态数据脱敏系统，其特征在于，应用模块为电力各业务条线提供按需的应用服务，包括：电量电费应用、智能巡检应用、业务报装应用、物资到货应用、人员分析应用、基建应用、综合计划应用。