[发明专利]一种Hive数据遮蔽方法、系统、电子设备及存储介质在审

专利信息
申请号: 202110677258.5 申请日: 2021-06-18
公开(公告)号: CN113343297A 公开(公告)日: 2021-09-03
发明(设计)人: 于靖力;刘建辉 申请(专利权)人: 北京明略昭辉科技有限公司
主分类号: G06F21/62 分类号: G06F21/62;G06F16/215;G06F16/23;G06F16/242;G06F16/25
代理公司: 青岛清泰联信知识产权代理有限公司 37256 代理人: 赵燕
地址: 100089 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 hive 数据 遮蔽 方法 系统 电子设备 存储 介质
【说明书】:

发明提出一种Hive数据遮蔽方法、系统、电子设备及存储介质,其方法技术方案包括SQL语句接收步骤,在Hive程序的执行过程中接收一SQL语句;语法树构建步骤,根据所述SQL语句构建一语法树;数据脱敏遮蔽步骤,将所述语法树进行脱敏后返回;SQL语句执行步骤,根据脱敏后的所述语法树创建对应的执行计划,并根据所述执行计划执行所述SQL语句,返回所述SQL语句的执行结果。本发明在Hive程序内部对SQL的执行进行干涉,可以在保留原有数据的正确、完整性的前提下,将所有执行的SQL输出的结果都进行脱敏。

技术领域

本发明属于数据安全领域,尤其涉及一种Hive数据遮蔽方法、系统、电子设备及存储介质。

背景技术

数据中台蓬勃发展,如火如荼,呈现出一片欣欣向荣的繁华景象。但在这片繁花似锦背后,存在一个至关重要的问题,如不解决,便如同达摩克利斯之剑一般,一旦被发现利用,便会引发重大问题,造成极其恶劣的影响。这个问题就是数据的安全与伦理问题。数据中包含着用户的各种私密信息,如果不加遮掩的任由使用,被别有用心的人利用,将会带来非常严重的后果。

当前,部分公司为了对数据进行一定程度上的去敏感化,采用了多种方式来将原本的敏感数据脱敏。其中包括,在ETL数据清洗阶段对数据进行脱敏,或在提交查询语句阶段对语句进行改造进行脱敏。但是,改造SQL的方式过于粗暴,且改造方案并不一定适用于所有SQL,会有某些SQL在改造后执行失败或执行计划发生变更,不能保证正确性。在ETL数据清洗阶段对数据进行脱敏则将接入的原始数据修改,破坏了数据的完整性和准确性,丢失了一定的数据信息。

发明内容

本申请实施例提供了一种Hive数据遮蔽方法、系统、电子设备及存储介质,以至少解决现有Hive数据遮蔽方法无法保留原始值的问题。

第一方面,本申请实施例提供了一种Hive数据遮蔽方法,包括:SQL语句接收步骤,在Hive程序的执行过程中接收一SQL语句;语法树构建步骤,根据所述SQL语句构建一语法树;数据脱敏遮蔽步骤,将所述语法树进行脱敏后返回;SQL语句执行步骤,根据脱敏后的所述语法树创建对应的执行计划,并根据所述执行计划执行所述SQL语句,返回所述SQL语句的执行结果。

优选的,所述语法树构建步骤进一步包括:将所述SQL语句划分为一树形结构,并将所述SQL语句所操作的对象及操作类型进行节点解析,根据解析得到的所述节点构建所述语法树。

优选的,所述数据脱敏遮蔽步骤进一步包括:预设权限定义步骤,根据一脱敏需求定义一预设权限,根据所述预设权限对所述语法树进行数据遮蔽。

优选的,所述数据脱敏遮蔽步骤进一步包括:脱敏函数配置步骤,根据所述预设权限,将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。

第二方面,本申请实施例提供了一种Hive数据遮蔽系统,适用于上述一种Hive数据遮蔽方法,包括:SQL语句接收模块,在Hive程序的执行过程中接收一SQL语句;语法树构建模块,根据所述SQL语句构建一语法树;数据脱敏遮蔽模块,将所述语法树进行脱敏后返回;SQL语句执行模块,根据脱敏后的所述语法树创建对应的执行计划,并根据所述执行计划执行所述SQL语句,返回所述SQL语句的执行结果。

在其中一些实施例中,所述语法树构建模块进一步包括:将所述SQL语句划分为一树形结构,并将所述SQL语句所操作的对象及操作类型进行节点解析,根据解析得到的所述节点构建所述语法树。

在其中一些实施例中,所述数据脱敏遮蔽模块进一步包括:预设权限定义单元,根据一脱敏需求定义一预设权限,根据所述预设权限对所述语法树进行数据遮蔽。

在其中一些实施例中,所述数据脱敏遮蔽模块进一步包括:脱敏函数配置单元,根据所述预设权限,将所述语法树内需要进行所述脱敏的所述节点配置脱敏函数以进行脱敏。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明略昭辉科技有限公司,未经北京明略昭辉科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110677258.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top