[发明专利]HIVE数据脱敏方法及装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种HIVE数据脱敏方法及装置。

背景技术

目前脱敏行业对于文本文件的脱敏，处理的主要是非分布式文件系统的脱敏或对分布式文件系统上的文件采取非分布式的脱敏处理方法。

对于分布式文件系统的海量文件脱敏，采用非分布式的脱敏处理方法，一般有两种方式来提高处理能力，第一种是在单台脱敏服务器上采用多线程并行处理的方式，第二种是通过将脱敏平台集群化，即将脱敏平台部署到多台服务器上，利用多台脱敏服务器来并行脱敏处理。第一种方式的处理效率提升空间不大，受限于单台服务器的处理能力，不能真正解决海量文件的高效脱敏。第二种方式能够在相当程度上解决海量数据文件脱敏的效率问题，但是对硬件资源要求较高，成本较大，也不是一个好的处理方式。

针对现有技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种HIVE数据脱敏方法及装置，以至少解决现有技术中采用非分布式的脱敏处理而导致效率低下的技术问题。

根据本发明的一个实施例，提供了一种HIVE数据脱敏方法，包括：创建HIVE脱敏任务，以及HIVE的自定义UDF脱敏函数；根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务。

可选地，在根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务之前，所述方法还包括：连接所述脱敏平台与所述HIVE数据仓库；根据所述UDF脱敏函数将所述HIVE脱敏任务组建成用于执行的SQL脱敏语句；将所述SQL脱敏语句通过数据库连接JDBC方式提交到所述HIVE数据仓库端。

可选地，根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务包括：根据所述UDF脱敏函数将所述脱敏任务生成映射规约MapReduce作业；在所述HIVE数据仓库端执行所述MapReduce作业。

可选地，连接所述脱敏平台与所述HIVE数据仓库包括：设置以下连接参数：指定的HIVE连接地址，连接HIVE的驱动，Schema信息；通过所述连接参数连接所述脱敏平台与所述HIVE数据仓库。

可选地，创建HIVE脱敏任务包括：添加HIVE数据源，以及HIVE脱敏字段的集合；绑定所述脱敏字段的脱敏规则；根据所述HIVE数据源和所述脱敏规则创建HIVE脱敏任务。

可选地，在根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务之前，所述方法还包括：选择脱敏源数据源和脱敏后的目标数据源，其中，所述脱敏源数据源和所述脱敏目标数据源是同一个集群的HIVE数据源，且Schema不同；将所述HIVE脱敏任务由所述脱敏平台提交到Hadoop的HIVE数据仓库端。

根据本发明的另一个实施例，提供了一种HIVE数据脱敏装置，包括：创建模块，用于创建HIVE脱敏任务，以及HIVE的自定义UDF脱敏函数；执行模块，用于根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务。

可选地，所述装置还包括：连接模块，用于在所述执行模块根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务之前，连接所述脱敏平台与所述HIVE数据仓库；组建模块，用于根据所述UDF脱敏函数将所述HIVE脱敏任务组建成用于执行的SQL脱敏语句；第一提交模块，用于将所述SQL脱敏语句通过数据库连接JDBC方式提交到所述HIVE数据仓库端。

可选地，所述执行模块包括：生成单元，用于根据所述UDF脱敏函数将所述脱敏任务生成映射规约MapReduce作业；执行单元，用于在所述HIVE数据仓库端执行所述MapReduce作业。

可选地，所述装置还包括：选择模块，用于在所述执行模块根据所述UDF脱敏函数在HIVE数据仓库端执行所述脱敏任务之前，选择脱敏源数据源和脱敏后的目标数据源，其中，所述脱敏源数据源和所述脱敏目标数据源是同一个集群的HIVE数据源，且Schema不同；第二提交模块，用于将所述HIVE脱敏任务由所述脱敏平台提交到Hadoop的HIVE数据仓库端。

通过本发明，实现了由HIVE自身分解成多个MapReduce作业分布式并行执行，以充分利用集群的分布式任务优势，通过HIVE的UDF自定义脱敏函数方式,实现集群端的分布式脱敏任务，解决了现有技术中采用非分布式的脱敏处理而导致效率低下的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：