[发明专利]一种Hive数据遮蔽方法、系统、电子设备及存储介质在审
申请号: | 202110677258.5 | 申请日: | 2021-06-18 |
公开(公告)号: | CN113343297A | 公开(公告)日: | 2021-09-03 |
发明(设计)人: | 于靖力;刘建辉 | 申请(专利权)人: | 北京明略昭辉科技有限公司 |
主分类号: | G06F21/62 | 分类号: | G06F21/62;G06F16/215;G06F16/23;G06F16/242;G06F16/25 |
代理公司: | 青岛清泰联信知识产权代理有限公司 37256 | 代理人: | 赵燕 |
地址: | 100089 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 hive 数据 遮蔽 方法 系统 电子设备 存储 介质 | ||
本发明提出一种Hive数据遮蔽方法、系统、电子设备及存储介质,其方法技术方案包括SQL语句接收步骤,在Hive程序的执行过程中接收一SQL语句;语法树构建步骤,根据所述SQL语句构建一语法树;数据脱敏遮蔽步骤,将所述语法树进行脱敏后返回;SQL语句执行步骤,根据脱敏后的所述语法树创建对应的执行计划,并根据所述执行计划执行所述SQL语句,返回所述SQL语句的执行结果。本发明在Hive程序内部对SQL的执行进行干涉,可以在保留原有数据的正确、完整性的前提下,将所有执行的SQL输出的结果都进行脱敏。
技术领域
本发明属于数据安全领域,尤其涉及一种Hive数据遮蔽方法、系统、电子设备及存储介质。
背景技术
数据中台蓬勃发展,如火如荼,呈现出一片欣欣向荣的繁华景象。但在这片繁花似锦背后,存在一个至关重要的问题,如不解决,便如同达摩克利斯之剑一般,一旦被发现利用,便会引发重大问题,造成极其恶劣的影响。这个问题就是数据的安全与伦理问题。数据中包含着用户的各种私密信息,如果不加遮掩的任由使用,被别有用心的人利用,将会带来非常严重的后果。
当前,部分公司为了对数据进行一定程度上的去敏感化,采用了多种方式来将原本的敏感数据脱敏。其中包括,在ETL数据清洗阶段对数据进行脱敏,或在提交查询语句阶段对语句进行改造进行脱敏。但是,改造SQL的方式过于粗暴,且改造方案并不一定适用于所有SQL,会有某些SQL在改造后执行失败或执行计划发生变更,不能保证正确性。在ETL数据清洗阶段对数据进行脱敏则将接入的原始数据修改,破坏了数据的完整性和准确性,丢失了一定的数据信息。
发明内容
本申请实施例提供了一种Hive数据遮蔽方法、系统、电子设备及存储介质,以至少解决现有Hive数据遮蔽方法无法保留原始值的问题。
第一方面,本申请实施例提供了一种Hive数据遮蔽方法,包括:SQL语句接收步骤,在Hive程序的执行过程中接收一SQL语句;语法树构建步骤,根据所述SQL语句构建一语法树;数据脱敏遮蔽步骤,将所述语法树进行脱敏后返回;SQL语句执行步骤,根据脱敏后的所述语法树创建对应的执行计划,并根据所述执行计划执行所述SQL语句,返回所述SQL语句的执行结果。
优选的,所述语法树构建步骤进一步包括:将所述SQL语句划分为一树形结构,并将所述SQL语句所操作的对象及操作类型进行节点解析,根据解析得到的所述节点构建所述语法树。
优选的,所述数据脱敏遮蔽步骤进一步包括:预设权限定义步骤,根据一脱敏需求定义一预设权限,根据所述预设权限对所述语法树进行数据遮蔽。
优选的,所述数据脱敏遮蔽步骤进一步包括:脱敏函数配置步骤,根据所述预设权限,将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
第二方面,本申请实施例提供了一种Hive数据遮蔽系统,适用于上述一种Hive数据遮蔽方法,包括:SQL语句接收模块,在Hive程序的执行过程中接收一SQL语句;语法树构建模块,根据所述SQL语句构建一语法树;数据脱敏遮蔽模块,将所述语法树进行脱敏后返回;SQL语句执行模块,根据脱敏后的所述语法树创建对应的执行计划,并根据所述执行计划执行所述SQL语句,返回所述SQL语句的执行结果。
在其中一些实施例中,所述语法树构建模块进一步包括:将所述SQL语句划分为一树形结构,并将所述SQL语句所操作的对象及操作类型进行节点解析,根据解析得到的所述节点构建所述语法树。
在其中一些实施例中,所述数据脱敏遮蔽模块进一步包括:预设权限定义单元,根据一脱敏需求定义一预设权限,根据所述预设权限对所述语法树进行数据遮蔽。
在其中一些实施例中,所述数据脱敏遮蔽模块进一步包括:脱敏函数配置单元,根据所述预设权限,将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明略昭辉科技有限公司,未经北京明略昭辉科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110677258.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:具有自动排屑的钻头
- 下一篇:基于数据仿真算法的数据脱敏系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置