[发明专利]Hive数据库动态脱敏系统及实现方法

说明书

本发明公开了一种Hive数据库动态脱敏系统及实现方法，属于数据库安全技术领域，本发明要解决的技术问题为如何在动态查询数据时实现对敏感数据的实时脱敏，保证原始数据的有效性和查询性能的同时避免敏感数据的泄露风险，采用的技术方案为：该系统采用Java Web技术栈进行项目开发，基于SpringBoot框架实现，并结合Ranger技术栈实时动态脱敏hive数据库中的敏感数据；该系统包括脱敏算法管理单元及脱敏算法规则单元，脱敏算法管理单元用于将脱敏算法以UDF函数的方式同步到Hive数据库；脱敏算法规则单元用于管理Hive数据、用户及脱敏算法之间的关系，并对Hive数据表中的字段设置脱敏规则；其中，脱敏规则支持对不同用户设置不同的脱敏算法。

技术领域

本发明涉及数据库安全技术领域，具体地说是一种Hive数据库动态脱敏系统及实现方法。

背景技术

信息化时代，数据是一笔宝贵的资产。不管企业还是政府单位，每天都在有意无意地收集、存储、共享数据，且规模越来越大。与各类数据打交道，是现代企业成长的必经之路，但是敏感数据泄露的风险也与日俱增。

随着信息化产业发展，数据仓库技术的使用越来越普遍，而Hive数据库是数据仓库不可或缺的数据存储工具。身份证信息、酒店入住记录、用户支付信息等，这些数据一旦泄露将涉及个人隐私安全。数据脱敏是一种为用户提供虚假数据而非真实数据、防止敏感数据滥用的技术。在现有技术的数据脱敏过程中，动态脱敏的实现大部分是通过对查询结果进行二次处理，解析其中的敏感数据并进行脱敏处理，此种方式对查询性能有很大的影响。

故如何在动态查询数据时实现对敏感数据的实时脱敏，保证原始数据的有效性和查询性能的同时避免敏感数据的泄露风险是目前亟待解决的问题。

发明内容

本发明的技术任务是提供一种Hive数据库动态脱敏系统及实现方法，来解决如何在动态查询数据时实现对敏感数据的实时脱敏，保证原始数据的有效性和查询性能的同时避免敏感数据的泄露风险的问题。

本发明的技术任务是按以下方式实现的，一种Hive数据库动态脱敏系统，该系统采用Java Web技术栈进行项目开发，基于SpringBoot框架实现，并结合Ranger技术栈实时动态脱敏hive数据库中的敏感数据；该系统包括，脱敏算法管理单元，用于将脱敏算法以UDF函数的方式同步到Hive数据库；

脱敏算法规则单元，用于管理Hive数据、用户及脱敏算法之间的关系，并对Hive数据表中的字段设置脱敏规则；其中，脱敏规则支持对不同用户设置不同的脱敏算法。

作为优选，开发所述脱敏算法管理单元的web前端页面，脱敏算法管理单元的web前端页面是基于web技术中的jsp和js相关技术开发静态页面和功能函数，用户通过脱敏算法管理单元的web前端页面在线选择脱敏算法，同时脱敏算法管理单元的web前端页面支持仿真脱敏算法、Hash脱敏算法、截图脱敏算法、遮掩脱敏算法、加密脱敏算法及变换脱敏算法，同时支持用户对脱敏算法的参数进行自定义。

更优地，开发所述脱敏算法管理单元的后台API接口，脱敏算法管理单元的后台API接口用于维护用户选择的脱敏算法，对脱敏算法参数进行管理。

更优地，所述仿真脱敏算法适用于对身份证、护照、银行卡、手机号及统一社会信用码构成规则固定的数据进行脱敏，通过对固定规则的编码进行随机替换或映射替换，实现数据的仿真脱敏，在保证脱敏后数据可用性的同时，有效保留了数据的原始属性。

Hash脱敏算法支持多种加密方式，加密方式包括MD5、SHA及MD3；

变换脱敏算法支持对日期按年、月、日的维度进行取整，支持对数字进行取整；

遮掩脱敏算法支持设置脱敏字符的起止位置及遮掩所用的字符。