[发明专利]基于Spark SQL的数据处理方法及装置、存储介质及计算设备

权利要求书

1.基于Spark SQL的数据处理方法，其特征在于包括：

响应于会话的发起，根据发起所述会话的代理用户的用户名，在预设关系集中查找所述用户名对应的Spark上下文变量实例；

若未查找到所述用户名对应的所述Spark上下文变量实例，则新建与所述用户名对应的Spark上下文变量，并对所述Spark上下文变量进行实例化，以形成所述用户名对应的Spark上下文变量实例，并在所述预设关系集中添加所述用户名至少与对应的Spark上下文变量实例之间的对应关系；以及

根据发起所述会话的代理用户的用户名对应的Spark上下文变量实例，创建对应的运行时环境来执行对应的数据处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述预设关系集包括：从由一个或多个代理用户的用户名构成的第一集合到由一个或多个Spark上下文变量实例的相关信息构成的第二集合之间的一一映射关系。

3.根据权利要求1所述的数据处理方法，其特征在于，所述预设关系集包括：从由一个或多个代理用户的用户名构成的第一集合到第三集合之间的一一映射关系；

其中，所述第三集合包括一个或多个元素，所述第三集合的每个元素包括一个Spark上下文变量实例的相关信息以及与该Spark上下文变量实例相应的连接数。

4.根据权利要求1-3中任一项所述的数据处理方法，其特征在于还包括：

周期性地、或响应于所述会话的关闭，根据LRU原理对Spark上下文变量实例所占用的资源进行回收。

5.根据权利要求1-3中任一项所述的数据处理方法，其特征在于，由同一代理用户在不同客户端发起的会话共享同一个Spark上下文变量实例。

6.根据权利要求1-3中任一项所述的数据处理方法，其特征在于，在查找发起所述会话的代理用户的用户名对应的Spark上下文变量实例的步骤之前，还包括：若发起所述会话的代理用户的认证信息无效，结束所述会话的处理。

7.根据权利要求1-3中任一项所述的数据处理方法，其特征在于，在查找发起所述会话的代理用户的用户名对应的Spark上下文变量实例的步骤之前，还包括：若发起所述会话的代理用户不是启动所述服务器的进程用户的授信者，结束对所述会话的处理。

8.基于Spark SQL的数据处理装置，其特征在于包括：

查找单元，适于响应于会话的发起，根据发起所述会话的代理用户的用户名，在预设关系集中查找所述用户名对应的Spark上下文变量实例；

处理单元，适于若未查找到所述用户名对应的所述Spark上下文变量实例，则新建与所述用户名对应的Spark上下文变量，并对所述Spark上下文变量进行实例化，以形成所述用户名对应的Spark上下文变量实例，并在所述预设关系集中添加所述用户名至少与对应的Spark上下文变量实例之间的对应关系；以及

执行单元，适于根据发起所述会话的代理用户的用户名对应的Spark上下文变量实例，创建对应的运行时环境来执行对应的数据处理。

9.一种存储有程序的存储介质，所述程序被处理器执行时实现如权利要求1到7中的任一项所述的基于Spark SQL的数据处理方法。

10.一种计算设备，包括如权利要求9所述的存储介质。