[发明专利]基于Hive插件对Hive数据权限管控及安全审计方法及系统

说明书

本发明公开了一种基于Hive插件对Hive数据权限管控及安全审计方法及系统，包括如下步骤：S1.Hive请求通过JDBC连接或ODBC连接进入Hive集群中，连接到Thirft服务器（用于链接管理），然后进去到Hive驱动模块中；S2.在Hive驱动模块2中,依次进行抽象语法树解析、逻辑优化器优化、物理执行计划生成与优化、权限校验和提交到yarn运行；S3.HQL执行成功以后，异步通知到Admin服务器中；通过Antrl4来解析SQL，获取HQL的操作类型、表和字段；S4.对于操作类型为创建表的情况，则授予创建人全部的表权限；S5.更改完策略以后，策略信息保存到mysql中，同时添加标识标记该策略已经变更；Hive插件定时拉取策略，根据变更标识来刷新Hive插件中缓存。

技术领域

本发明涉及计算机、网络通信技术及大数据处理领域，具体涉一种基于Hive插件对Hive数据权限管控及安全审计方法及系统。

背景技术

近年来，随着企业数据量爆炸式增长，越来越多的企业运用以Hadoop为核心的大数据技术生态来分析处理企业中有价值的数据。进行OLAP（Online Analysis Process,OLAP）分析后的数据可以方便企业划分用户群体，寻找企业的增长点，提升企业的竞争力。保障企业的数据安全是企业竞争力的最基础的保证，只有通过事前身份验证，事中权限管控和事后安全审计全链路管控，才能保证数据在使用期间的数据安全。

Hive是Hadoop生态中最基础的离线分析组件，保障Hive数据权限是最基础的方案，现在业内中已经常有的有Apache Sentry和Apache Ranger这2种大数据权限管控组件。它们都是通过将插件安装到Hive底层，当一个SQL请求Hive的时候首先通过Hive对HQL进行解析，将HQL拆分成库，表，字段，然后对该HQL的请求方进行校验，判断请求方是否拥有该HQL的执行权限，若没有权限则抛出异常，最后会把HQL鉴权的结果发送到对应的admin客户端上保存下来。

现有的插件方案对于使用者是非常不方便的，每次创建表后都需要数据管理员在客户端中授予数据开发刚创建表的权限，数据开发才有权限使用该创建表，如果上百个数据开发需要开发上千个任务，那么管理成本就会非常高。若将数据管理员的权限授予数据开发使用，这样数据非常容易泄漏造成安全漏洞。

本方案是创建表后异步通知admin客户端让表的创建者默认拥有表的全部权限，而数据管理员可以通过变更策略来限制创建者对表的使用权限。后期删除表时候也会通知admin客户端，同步变更策略，防止出现ABA问题。（ABA问题是指创建一张表，同时授予用户该表权限，后续该表被管理员删除。然后创建相同表名的另一张表，而用户同样拥有新表的权限）。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于Hive插件对Hive数据权限管控及安全审计方法及系统，用于解决上述存在的问题，使得放开使用权限的同时防止数据泄露，实现数据管控和安全，形成更完善的数据安全体系。

为实现上述目的，本发明提供一种Hive插件对Hive数据权限管控及安全审计方法，所述方法包括如下步骤：

S1.Hive请求通过JDBC连接或ODBC连接进入Hive集群中，连接到Thirft服务器（用于链接管理），然后进去到Hive驱动模块中；

S2.在Hive驱动模块2中,依次进行抽象语法树解析、逻辑优化器优化、物理执行计划生成与优化、权限校验和提交到集群yarn运行；

S3.HQL执行成功以后，异步通知到Admin服务器中；通过Antrl4来解析SQL，获取HQL的操作类型、表和字段；

S4.对于操作类型为创建表的情况，则授予创建人全部的表权限；若是操作类型为删除表，则变更表策略去掉策略中被删除的表；