[发明专利]一种流式计算作业处理方法以及装置

说明书

本申请公开一种流式计算作业处理方法，该方法包括：获取流式计算作业；若检测到所述若干配置参数中存在至少一个目标配置参数存在异常情况，且所述目标配置参数满足所述目标配置参数对应的预设扩缩容条件，则根据所述目标配置参数，确定扩缩容调整方式；根据所述扩缩容调整方式，对所述流式计算作业的配置参数进行调整，得到调整后的配置参数；基于所述调整后的配置参数，执行所述流式计算作业。可见，本申请提高了流式计算作业处理的效率和精准度，进而提高了用户体验。

技术领域

本申请涉及数据处理领域，尤其涉及一种流式计算作业处理方法、装置。

背景技术

流式计算作业在未来都将不可避免的出现资源供应过剩或不足的情况，何时调整，如何调整是当前困扰大多数大数据开发人员的问题。目前大部分作业的调整，是通过人工监控源的速率，并通过人工手动配置并行度的方式，部署并测试性能的方式来调整资源。这一种人工手动调整资源的方式存在以下的问题：（1）需要额外的监控程序；（2）凭开发人员个人经验，调整资源不准确；（3）影响作业的稳定性；（4）手动配置难度较大；（5）手动调整成本较高。

发明内容

本申请提供一种流式计算作业处理方法，以可以提高流式计算作业处理的效率和精准度，进而提高用户体验。

第一方面，本申请提供了一种流式计算作业处理方法，所述方法包括：

获取流式计算作业；其中，所述流式计算作业包括若干配置参数；

若检测到所述若干配置参数中存在至少一个目标配置参数存在异常情况，且所述目标配置参数满足所述目标配置参数对应的预设扩缩容条件，则根据所述目标配置参数，确定扩缩容调整方式；

根据所述扩缩容调整方式，对所述流式计算作业的配置参数进行调整，得到调整后的配置参数；

基于所述调整后的配置参数，执行所述流式计算作业。

可选的，所述若检测到所述若干配置参数中存在至少一个目标配置参数存在异常情况，且所述目标配置参数满足所述目标配置参数对应的预设扩缩容条件，则根据所述目标配置参数，确定扩缩容调整方式，包括：

若所述检测到执行所述流式计算作业过程中的配置参数存在异常情况，将所述配置参数作为目标配置参数；

获取所述目标配置参数对应的预设扩缩容条件；

判断所述目标配置参数是否满足所述目标配置参数对应的预设扩缩容条件；

若所述目标配置参数满足所述目标配置参数对应的预设扩缩容条件，根据所述目标配置参数，确定扩缩容调整方式。

可选的，所述获取流式计算作业，包括：

任务执行服务获取所述流式计算作业；以及，所述任务执行服务执行所述流式计算作业，以及检测执行所述流式计算作业过程中的配置参数。

可选的，所述若检测到执行所述流式计算作业过程中的配置参数存在异常情况，将所述配置参数作为目标配置参数，包括：

若所述任务执行服务检测到执行所述流式计算作业过程中的配置参数存在异常情况，所述任务执行服务将所述配置参数作为目标配置参数推送至时序数据库；

相应地，所述获取所述目标配置参数对应的预设扩缩容条件，包括：

监控服务检测到所述时序数据库包括所述目标配置参数，所述监控服务向扩缩容策略服务发送调取指令；

所述扩缩容策略服务响应于所述调取指令，从所述时序数据库中调取所述目标配置参数以及获取所述目标配置参数对应的预设扩缩容条件；

相应地，所述判断所述目标配置参数是否满足所述目标配置参数对应的预设扩缩容条件，包括：