[发明专利]一种SparkSQL thriftserver查询及操作Hive的权限控制的方法

说明书

本发明提供一种SparkSQL thriftserver查询及操作Hive的权限控制的方法，属于大数据数据库访问权限控制技术领域，本发明通过使用hive llap服务所拥有的用户身份识别及用户输入SQL解析，联合Ranger的访问权限控制功能结合形成中介服务，通过SparkSQL thriftserver服务对接此中介服务达到了控制权限控制的目的。

技术领域

本发明涉及大数据数据库访问权限控制技术，尤其涉及一种SparkSQLthriftserver查询及操作Hive的权限控制的方法。

背景技术

随着云时代的来临，大数据查询也吸引了越来越多的关注,数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据安全性带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据安全性对企业的重要性。

Spark on Hive作为当前大数据领域集结构化存储和高速分布式计算使用最多的技术模型，持续受到工业界的广泛关注。SparkSQL是基于内存的分布式计算框架，并且对Hadoop生态系统有高度的支持，比如支持从HDFS、Hbase、Hive等分布式文件系统读取数据。而且SparkSQL目前发展非常迅速，支持的持久层框架越来越多，并且随着SparkSQLthriftserver服务的出现，通过SparkSQL thriftserver服务直接访问Hive更加方便快捷，数据开发人员直接链接SparkSQL thriftserver服务用SQL语句便可以做数据分析，大幅降低了基于SparkSQL的大数据开发难度。但是SparkSQL thriftserver服务也要面临一个问题，即在多用户的应用场景下，使用SparkSQL thriftserver服务在访问Hive数据库时存在着安全问题，无法做到不同用户的访问权限控制。安全访问控制对于商业应用至关重要。因此，对于用户通过Spark SQL访问表的行列权限控制也是重要关键点。无权限控制问题会存在用户可以越权访问其他用户所私有的数据库、数据表，会导致用户数据信息泄露，造成一定的信息安全性影响。

发明内容

为了解决以上技术问题，本发明提出了一种SparkSQL thriftserver查询及操作Hive的权限控制的方法，使用hive llap服务作为中介服务，sparkSQL thriftserver连接hive llap中介服务，达到Ranger权限控制hive数据库的目的。

本发明综合利用hive llap服务及ranger服务的权限控制特性，及增加嵌合sparkSQL thriftserver服务对hive llap服务的支持驱动包来达到控制sparkSQLthriftserver服务访问Hive数据源时，可以进行数据库级、数据表级、数据列级、数据行级的细粒度的控制访问权限，且可以直接在Ranger服务控制台中简单明了的进行权限配置。

本发明的技术方案是：

一种SparkSQL thriftserver查询及操作Hive的权限控制的方法，

主要包括：

1)配置sparkSQL thriftserver服务集成Hive llap服务；

2)配置sparkSQL thriftserver代理用户到Hive llap服务中；

3)配置sparkSQL thriftserver集成Hive llap服务通过kerberos权限验证。

进一步的，所述配置sparkSQL thriftserver服务集成Hive llap服务，包括在spark配置项`Advanced spark2-env`中的配置方式，即直接在线打包模式或上传jar到服务器直接加载jar模式。包括对spark_thrift_cmd_opts参数的配置。