[发明专利]一种应用运行方法和装置

说明书

本发明公开了应用运行方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括接收外围组件重启事件，通过挂载文件，将所述外围组件注册的信息写入磁盘中；基于预设时间阈值，确定外围组件重启事件失败，杀掉所述外围组件对应的计算进程。从而，本发明的实施方式能够解决现有技术外围组件异常导致整个应用失败的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种应用运行方法和装置。

背景技术

Spark是新一代分布式内存计算框架，Apache开源的顶级项目，能够更好地适用于数据挖掘、机器学习算法，极大提升开发效率。

而Spark on kubernetes是一种基于容器化的调度方案，基于kubernetes自身强大的容器管理和编排特性，spark可以和其他的容器服务混合部署。该方案从技术积累上比较新，也面临着一系列的问题，其中，external shuffle service是spark的一个外围组件，其恢复方法是一个关键性问题，决定了spark on kubernetes的稳定和性能，externalshuffle service是Spark的一个外围组件，负责存储spark的中间数据。

其中，Kubernetes是容器集群管理系统，为容器化的应用提供部署运行、资源调度、负载均衡、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

如果external shuffle service重启之后，内部注册的executors(executor是spark的计算进程)的shuffle文件位置信息会丢失，而本机器的executor并不会退出，继续执行task(任务)。task由于在external shuffle service找不到上一阶段的shuffle文件位置信息，会发生fetchfailed异常。根据spark自身框架规则，task会被重新调度。但由于executor始终正常工作，导致driver(spark的调度管理进程)维护的shuffle元数据始终没有更改(只有executor退出，发生executor lost才能够刷新driver的shuffle元数据)。后续的task仍然去重启后的external shuffle service寻找文件位置信息。由于该信息丢，task继续失败。一定重试次数之后，整个application(应用)会失败。

发明内容

有鉴于此，本发明实施例提供一种应用运行方法和装置，能够解决现有技术外围组件异常导致整个应用失败的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种应用运行方法，包括接收外围组件重启事件，通过挂载文件，将所述外围组件注册的信息写入磁盘中；基于预设时间阈值，确定外围组件重启事件失败，杀掉所述外围组件对应的计算进程。

可选地，杀掉所述外围组件对应的计算进程，包括：

对计算进程添加探针检查，以监听外围组件端口；

根据预设检查次数阈值，确定所述端口异常，杀掉对应的计算进程。

可选地，杀掉所述外围组件对应的计算进程之后，包括：

重新调度以启动计算进程，接收计算进程丢失消息，删除所述计算进程对应的所有shuffle元信息。

可选地，将所述外围组件注册的信息写入磁盘中之后，包括：

触发外围组件重启事件，加载磁盘中的全部信息，以恢复所述外围组件数据；其中，外围组件配置成容器集群管理系统中DaemonSet的方式。