[发明专利]一种诊断Spark应用的方法及装置

说明书

本发明涉及金融科技领域，并公开了一种诊断Spark应用的方法及装置，其中，方法包括：获取Spark应用的上下文信息，根据上下文信息确定Spark应用的诊断指标和诊断指标对应的指标规则，根据Spark应用的诊断指标，采集Spark应用在运行过程中诊断指标对应的运行信息，并根据诊断指标对应的指标规则对诊断指标对应的运行信息进行诊断，确定Spark应用的诊断结果。本技术方案在Spark应用运行过程中，实时采集Spark应用的运行指标，对Spark应用的运行中的问题进行实时诊断，并提供有效的诊断措施。

技术领域

本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种诊断Spark应用的方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，Spark技术也不例外，但由于金融、支付行业的安全性、实时性要求，也对Spark技术提出的更高的要求。

Spark技术是专为大规模数据处理而设计的快速通用的计算引擎，Spark使用了内存运算技术，能在数据尚未写入硬盘时在内存分析运算。现有的Spark应用诊断是在Spark应用运行完成后，收集运行过程中的日志进行分析，基于预设规则方法确定Spark应用在运行中存在的问题，从而进行相应的调整。

现有技术中，在Spark应用运行完成后对日志进行诊断分析，不能及时发现运行过程中的问题，并提供有效诊断措施。

发明内容

本发明实施例提供一种诊断Spark应用的方法及装置，用以实现在Spark应用运行过程中，实时采集Spark应用的运行指标，对Spark应用的运行中的问题进行实时诊断，并提供有效的诊断措施。

本发明实施例提供的一种诊断Spark应用的方法，包括：

获取Spark应用的上下文信息；

根据所述上下文信息确定所述Spark应用的诊断指标和所述诊断指标对应的指标规则；

根据所述Spark应用的诊断指标，采集所述Spark应用在运行过程中所述诊断指标对应的运行信息；

根据所述诊断指标对应的指标规则对所述诊断指标对应的运行信息进行诊断，确定所述Spark应用的诊断结果。

上述技术方案中，通过获取Spark应用的上下文信息，生成诊断指标和指标规则，实现在Spark应用过程中实时获取诊断指标对应的运行信息，并对运行信息进行诊断，确定出Spark应用的诊断结果，从而可以对Spark应用运行中出现的运行故障进行实时诊断，并获取到诊断结果，进一步的，在Spark应用运行中获取运行信息，可以较全面的采集到Spark应用运行中的参数指标等，相比于在Spark应用运行完成后的运行日志，运行参数更为全面且反应Spark应用的当前运行状态。

可选的，所述诊断指标为多个；

所述根据所述诊断指标对应的指标规则对所述诊断指标对应的运行信息进行诊断，确定所述Spark应用的诊断结果，包括：

针对任一个诊断指标，根据所述诊断指标对应的指标规则对所述诊断指标对应的运行信息进行诊断，确定所述诊断指标对应的诊断结果；

从多个所述诊断指标对应的诊断结果中确定出符合预设规则的诊断结果，并确定为所述Spark应用的诊断结果。

上述技术方案中，针对任一个诊断指标，都设置有与之相对应的诊断结果，同时预设规则，用于从多个诊断结果中确定出符合预设规则的诊断结果，进一步将其确定为Spark应用的诊断结果。从多方面诊断Spark应用在运行中的运行指标，多维度评估Spark应用，可以及时发现运行中的故障，且根据预设规则，将具有代表性的诊断指标对应的诊断结果作为当前Spark应用的诊断结果，从而方便的用户直观了解到当前Spark应用运行问题，提高用户体验。