[发明专利]一种动态更改Spark用户配置的方法、装置及其系统

权利要求书

1.一种动态更改Spark用户配置的方法，其特征在于，所述方法应用于Driver驱动器，所述方法包括：

利用预设restful接口接收用户发送的最新配置信息；

利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据预设条件启动所述预设restful接口。

3.根据权利要求1所述的方法，其特征在于，所述预设restful接口为http形式。

4.一种动态更改Spark用户配置的装置，其特征在于，包括：

最新配置信息获取模块，用于利用预设restful接口接收用户发送的最新配置信息；

最新配置信息广播模块，用于利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。

5.一种动态更改Spark用户配置的方法，其特征在于，所述方法应用于执行任务中的Executor执行器，所述方法包括：

获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；

根据所述最新配置信息更改自身任务中对应的配置信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述最新配置信息更改自身任务中对应的配置信息，包括：

获取所述最新配置信息中的配置变量名称和配置变量赋值；

根据所述配置变量名称确定自身任务中对应的待更改配置变量；

将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。

7.一种动态更改Spark用户配置的装置，其特征在于，包括：

最新配置信息接收模块，用于获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；

配置信息更改模块，用于根据所述最新配置信息更改自身任务中对应的配置信息。

8.根据权利要求7所述的装置，其特征在于，所述配置信息更改模块，包括：

配置变量信息获取单元，用于获取所述最新配置信息中的配置变量名称和配置变量赋值；

待更改变量确定单元，用于根据所述配置变量名称确定自身任务中对应的待更改配置变量；

变量赋值更改单元，用于将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。

9.一种动态更改Spark用户配置的系统，其特征在于，包括：

Driver驱动器、预设restful接口和多个Executor执行器；

所述Driver驱动器与所述预设restful接口通信连接，所述Driver驱动器用于执行权利要求1-3任一项所述的动态更改Spark用户配置的方法；

所述Executor执行器用于执行权利要求5-6任一项所述的动态更改Spark用户配置的方法。

10.根据权利要求9所述的系统，其特征在于，还包括：用于广播最新配置信息的预设广播变量。