[发明专利]一种作业的运行日志的采集方法及装置

说明书

本发明提供一种作业的运行日志的采集方法及装置，涉及大数据技术领域。所述方法包括：接收第一终端发送的运行日志获取请求；根据作业标识和对应的作业集群标识以及作业应用关系表，获得应用标识，并根据作业标识对应的作业集群标识，查询获得路径信息和集群类型标识；根据应用标识、路径信息和集群类型标识，获得分布式系统临时路径；根据分布式系统临时路径，下载作业标识对应的作业在作业集群下的运行日志，并将所述作业标识对应的作业在作业集群下的运行日志发送给所述第一终端。所述装置用于执行上述方法。本发明实施例提供的作业的运行日志的采集方法及装置，提高了作业的运行日志的采集效率。

技术领域

本发明涉及大数据技术领域，具体涉及一种作业的运行日志的采集方法及装置。

背景技术

Hadoop是一个由Apache基金会所开发的分布式生态系统基础架构，集群规模视不同应用场景有数十节点至几千节点不等，应用者可以利用其多节点、分布式的特点进行存储与计算。

基于Hadoop的集群进行业务逻辑作业加工时，由于其分布式的特点，作业是分散在不同节点上通过spark引擎或Mareduce引擎运行计算的，作业的运行日志也会分布在各个不同的节点上。作业的运行日志可以用于对作业性能容量的评测和报错作业诊断工作。在实际的运维使用过程中，尚无集群作业运行日志采集工具来采集作业的运行日志。因此，如何提供一种作业的运行日志的采集方法，成为本领域需要解决的重要课题。

发明内容

针对现有技术中的问题，本发明实施例提供一种作业的运行日志的采集方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种作业的运行日志的采集方法，包括：

接收第一终端发送的运行日志获取请求，所述运行日志获取请求包括作业标识和所述作业标识对应的作业集群标识；

根据所述作业标识和对应的作业集群标识以及作业应用关系表，获得所述作业标识与作业集群标识对应的应用标识，并根据所述作业标识对应的作业集群标识，查询获得所述作业集群标识对应的路径信息和集群类型标识；其中，所述作业集群标识对应的路径信息和集群类型标识是预设的；

根据所述应用标识、所述作业集群标识对应的路径信息和集群类型标识，获得所述作业标识在作业集群下对应的分布式系统临时路径；

根据所述作业标识在作业集群下对应的分布式系统临时路径，下载所述作业标识对应的作业在作业集群下的运行日志，并将所述作业标识对应的作业在作业集群下的运行日志发送给所述第一终端。

另一方面，本发明提供一种作业的运行日志的采集装置，包括：

接收模块，用于接收第一终端发送的运行日志获取请求，所述运行日志获取请求包括作业标识和所述作业标识对应的作业集群标识；

第一获得模块，用于根据所述作业标识和对应的作业集群标识以及作业应用关系表，获得所述作业标识与作业集群标识对应的应用标识，并根据所述作业标识对应的作业集群标识，查询获得所述作业集群标识对应的路径信息和集群类型标识；其中，所述作业集群标识对应的路径信息和集群类型标识是预设的；

第二获得模块，用于根据所述应用标识、所述作业集群标识对应的路径信息和集群类型标识，获得所述作业标识在作业集群下对应的分布式系统临时路径；

下载模块，用于根据所述作业标识在作业集群下对应的分布式系统临时路径，下载所述作业标识对应的作业在作业集群下的运行日志，并将所述作业标识对应的作业在作业集群下的运行日志发送给所述第一终端。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的作业的运行日志的采集方法的步骤。