[发明专利]一种动态更改Spark用户配置的方法、装置及其系统

说明书

本发明涉及一种动态更改Spark用户配置的方法、装置及其系统。该方法包括：利用预设restful接口接收用户发送的最新配置信息；利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。采用上述方法或装置或系统能够在任务运行过程中动态更改任务中的用户配置信息，提高了Spark任务的灵活性。

技术领域

本发明涉及Spark任务配置的技术领域，具体涉及一种动态更改Spark用户配置的方法、装置及其系统。

背景技术

目前互联网领域的多个业务中均涉及到大数据的处理，例如广告、报表、推荐系统等业务，在上述业务中需要利用大数据做相应的数据分析、个性化推荐等操作。现有大数据的处理过程中涉及到的计算量极大，此种情况下采用了Spark计算引擎进行大数据处理。在Spark由driver和executor两个节点进行数据处理。其中，driver是Spark的驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Executor为Spark的执行器节点，负责在Spark作业中运行具体任务，任务之间相互独立。

目前，在Spark任务提交后，都先启动Driver，然后Driver向集群管理器注册应用程序，之后集群管理器根据此任务的配置文件分配Executor并启动，然后Driver等待资源满足，执行main函数。在任务执行过程中往往会出现需要修改配置信息的情况，现有技术中大多通过修改代码中的配置后重新编译发布到集群中执行或将配置信息存放到预先指定的数据库中，然后定时reload配置信息。上述方式不是需要修改代码就是需要构建数据库，导致修改效率低下，进而降低了Spark任务的执行效率。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种动态更改Spark用户配置的方法、装置及其系统。

为实现以上目的，本发明采用如下技术方案：

一种动态更改Spark用户配置的方法，所述方法应用于Driver驱动器，所述方法包括：

利用预设restful接口接收用户发送的最新配置信息；

利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。

可选的，还包括：

根据预设条件启动所述预设restful接口。

可选的，所述预设restful接口为http形式。

一种动态更改Spark用户配置的装置，包括：

最新配置信息获取模块，用于利用预设restful接口接收用户发送的最新配置信息；

最新配置信息广播模块，用于利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。

一种动态更改Spark用户配置的方法，所述方法应用于执行任务中的Executor执行器，所述方法包括：

获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；

根据所述最新配置信息更改自身任务中对应的配置信息。

可选的，所述根据所述最新配置信息更改自身任务中对应的配置信息，包括：

获取所述最新配置信息中的配置变量名称和配置变量赋值；

根据所述配置变量名称确定自身任务中对应的待更改配置变量；