[发明专利]一种面向Spark的访问控制方法及系统

说明书

本发明提供一种面向Spark的访问控制方法，其步骤包括：识别访问Spark系统用户的身份信息，从访问控制策略集中找到所有相关的访问控制规则，将所述访问控制规则转化为安全控制规则；根据所述安全控制规则，对用户的逻辑计划进行安全重写，将所述逻辑计划变换成符合访问需求的安全逻辑计划；针对输入Spark系统的外部数据，保存其身份标识和结构信息；对所述安全逻辑计划进行优化，根据优化后的安全逻辑计划生成可运行代码，通过身份标识和结构信息选择控制外部数据，实现Spark数据处理的访问控制。本发明还提供一种面向Spark的访问控制系统。

技术领域

本发明涉及大数据分析工具Spark的数据安全技术领域，具体涉及一种面向Spark的访问控制方法及系统，在数据分析过程中限制用户对数据集内数据的访问权限，使得用户只能按照访问控制的要求访问数据记录中特定的字段组分，最终实现数据的细粒度的访问控制。

背景技术

大数据蕴含着极大价值，而挖掘这些价值的大数据工具则成为驾驭大数据的关键。Spark(全称：Apache Spark)已成为当今最流行的大数据工具，得到了各界的极大关注。虽然Spark技术在性能和通用性方面取得了巨大进步，但仍面临诸多问题，其中数据安全是亟待解决的重大隐患。首先，大数据的巨大价值使其极易成为攻击者的目标。其次，为了最大程度地利用数据的价值，Spark支持多用户共同使用共享的数据集以满足各方的分析决策的现实需求，又进一步加大了数据保护的难度。然而，当前Spark技术的发展并未考虑数据安全保护机制，无法实现大数据的安全共享。

访问控制是公认的确保数据安全共享的重要方法，也是抵御内部威胁和攻击的基础手段。然而在Spark系统中却缺乏完整的访问控制解决方案。

图1展示了Spark应用场景的典型架构。该架构具有混合分析特点：系统可接入不同类型数据源，既有分布式文件系统的持久化文件、关系型数据库的关系表、实时流数据，甚至有其它大数据系统的输出数据。现有访问控制要么是一种特定化(adhoc)的定制措施，要么属于补丁式的增强机制，从不是一种完整普适的解决方案。首先，各类外接数据源系统对访问控制的支持参差不齐。其次，中间件式的访问控制增强系统，虽然能提供细粒度访问控制，但尚不能支持所有的数据源。由于需要屏蔽各种异构数据源的差异，中间件式系统复杂度高，并且开发周期长，需要不断支持新的数据源。

近年来，用户的敏感数据泄露的事件不断发生，因此设计出统一、集中式的访问控制已刻不容缓。本发明对完善Spark系统中数据的访问控制意义重大。

发明内容

本发明的目的在于提供一种面向Spark的访问控制方法及系统，基于Spark现有架构的访问控制增强机制，在数据处理阶段对数据的访问权限施加控制，使用该方法的Spark系统能实现细粒度的访问控制，不同的用户只能按照预先设定的权限访问所授权的数据记录。

为实现上述目的，本发明的技术方案是在Spark现有数据处理机制的基础上，分析现有访问控制机制的不足，进而对相应结构或函数进行更改，针对用户作业的逻辑表达进行安全变换，使其满足访问控制策略的需要。本发明的技术方案如下：

一种面向Spark的访问控制方法，其步骤包括：

识别访问Spark系统用户的身份信息，从访问控制策略集中找到所有相关的访问控制规则，将所述访问控制规则转化为优化器可执行的安全控制规则；

根据所述安全控制规则，对用户的逻辑计划进行安全重写，将所述逻辑计划变换成符合访问需求的安全逻辑计划；

针对输入Spark系统的外部数据，保存其身份标识和结构信息；

对所述安全逻辑计划进行优化，根据优化后的安全逻辑计划生成满足控制需求的可运行代码，通过身份标识和结构信息选择控制外部数据，实现Spark数据处理的访问控制。

进一步地，所述身份标识包括UUID、URL、文件保存路径信息。