[发明专利]一种面向Spark的访问控制方法及系统

权利要求书

1.一种面向Spark的访问控制方法，其步骤包括：

识别访问Spark系统用户的身份信息，从访问控制策略集中找到所有相关的访问控制规则，将所述访问控制规则转化为安全控制规则；

根据所述安全控制规则，对用户的逻辑计划LogicalPlan进行安全重写，将所述LogicalPlan变换成符合访问需求的安全逻辑计划；所述安全重写是指根据所述安全控制规则的定义查找并匹配所述LogicalPlan中子结构，对满足条件的子结构适用所述安全控制规则，完成所述LogicalPlan的安全变换；

针对输入Spark系统的外部数据，保存其身份标识和结构信息DataFrame；

对所述安全逻辑计划进行优化，根据优化后的安全逻辑计划生成可运行代码，通过身份标识和DataFrame选择控制外部数据，实现Spark数据处理的访问控制。

2.根据权利要求1所述的方法，其特征在于，所述身份标识包括UUID、URL、文件保存路径信息。

3.根据权利要求1所述的方法，其特征在于，针对所述外部数据，通过有向无环图DAG对其世系变换进行追踪，保存其世系变换信息。

4.根据权利要求1所述的方法，其特征在于，通过对DataFrame和LogicalPlan进行标记，即对创建DataFrame或者Table的操作符进行改造，以使所述外部数据通过API接口进入Spark系统时生成的Catalog元数据中包含身份标识。

5.根据权利要求4所述的方法，其特征在于，所述外部数据输入Spark系统时，通过sql语句、调用Dataframe运算符或者RDD转换，创建DataFrame。

6.根据权利要求5所述的方法，其特征在于，所述LogicalPlan为将用户基于DataFrame的数据处理作业解析为高级操作符的树状结构。

7.根据权利要求1所述的方法，其特征在于，所述访问控制规则的访问对象和访问权限决定所述安全控制规则的表达形式，所述访问权限与所述安全控制规则规定的变换方式相对应，所述访问对象体现在所述安全控制规则的匹配模式上。

8.根据权利要求1所述的方法，其特征在于，对所述安全逻辑计划进行优化的优化规则包括常数折叠、谓词下移、投影剪裁、空值传播、布尔表达式求值。

9.一种面向Spark的访问控制系统，基于Spark系统，包括：

一策略管理模块，含有访问控制策略集，用于定制及提供访问控制策略；

一访问控制实施模块，嵌入于Spark数据处理流程中，基于逻辑计划LogicalPlan的安全重写实现Spark系统统一集中的访问控制，其包括：

一数据标识模块，为输入的外部数据源建立唯一的身份标识和结构信息DataFrame，实现数据的细粒度划分；

一策略引用模块，识别用户的身份信息并从所述访问控制策略集中找到所有相关的访问控制规则；以及

一安全重写模块，将所述访问控制规则转化为安全控制规则，对所述LogicalPlan进行安全重写，变换为安全逻辑计划；所述安全重写是指根据所述安全控制规则的定义查找并匹配所述LogicalPlan中子结构，对满足条件的子结构适用所述安全控制规则，完成所述LogicalPlan的安全变换；

一优化器，用于优化所述安全逻辑计划，基于该优化后的安全逻辑计划实现访问控制。