[发明专利]一种插件的发布方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种插件的发布方法、装置、电子设备及存储介质，涉及大数据技术领域。该方法包括：获得第一插件包，第一插件包为指定插件的升级版本的插件包，用于对对应作业类型的待升级作业进行升级处理。然后在预设发布周期内，针对每一待升级作业，基于预设发布比例确定该待升级作业是否调用第一插件包；获得各待升级作业的运行结果，并基于预设发布周期内，各待升级作业的运行结果以及各待升级作业调用的插件包版本，确定第一插件包的发布成功比例。通过预设发布比例和发布成功比例，调整预设发布比例，直至第一插件包在所有待升级作业均成功发布。采用该方法可以避免因插件升级导致大量作业运行失败。

技术领域

本发明涉及大数据技术领域，特别是涉及一种插件的发布方法、装置、电子设备及存储介质。

背景技术

大数据开发平台是一种一站式大数据PaaS平台，可以为用户提供作业开发、运行、提交一体化的执行流程。在大数据开发平台中，用户可以在插件列表拖拽一个插件，形成一个作业。

目前，在大数据开发平台中，基于用户需求，可能存在多种类型的作业，比如数据同步、数据加工、数据整合等类型的作业，每种类型的作业对应一个执行该类型作业的插件，该插件对应一个可独立运行的插件包。当需要执行作业时，调度系统的执行机(即执行所述作业的服务器)可以加载该作业对应的插件包，从而调度执行该作业。当业务需求发生变化或者存在新功能上线时，需要升级作业对应的插件包，但是由于新旧两个版本的插件包的底层实现逻辑不通，如果直接采用新版本的插件包，将旧版本的插件包禁用，可能会出现因新版本的插件包与历史作业数据不兼容，导致线上运行的大量作业运行失败，使得该插件包对应的插件不可用。

发明内容

本发明实施例的目的在于提供一种插件的发布方法、装置、电子设备及存储介质，用以解决因插件升级导致的大量作业运行失败问题。具体技术方案如下：

第一方面，本申请实施例提供一种插件的发布方法，所述方法应用于数据开发平台，所述数据开发平台用于运行至少一个作业类型的作业，每个作业类型中使用指定插件的作业为待升级作业，所述方法包括：

获得第一插件包，所述第一插件包为所述指定插件的升级版本的插件包，用于对对应作业类型的待升级作业进行升级处理；

在预设发布周期内，针对每一待升级作业，基于预设发布比例确定该待升级作业是否调用所述第一插件包，所述预设发布比例为：所述预设发布周期内，调用所述第一插件包运行的待升级作业数量，占所述预设发布周期内运行的待升级作业总量的比例；

获得各待升级作业的运行结果；

基于所述预设发布周期内，各待升级作业的运行结果以及各待升级作业调用的插件包版本，确定所述第一插件包的发布成功比例；

通过所述预设发布比例和所述发布成功比例，调整所述预设发布比例，直至所述第一插件包在所有所述待升级作业均成功发布。

在一种可能的实现方式中，所述通过所述预设发布比例和所述发布成功比例，调整所述预设发布比例，包括：

若所述发布成功比例达到发布通过阈值，且所述预设发布比例未达到发布比例阈值，则升高所述预设发布比例；

若所述发布成功比例未达到所述发布通过阈值，且所述第一插件包无误，则降低所述预设发布比例。

在一种可能的实现方式中，在通过所述预设发布比例和所述发布成功比例，调整所述预设发布比例之后，所述方法还包括：

基于调整后的预设发布比例，执行所述针对每一待升级作业，基于预设发布比例确定该待升级作业是否调用所述第一插件包的步骤，直至所述第一插件包在所有所述待升级作业均成功发布。