[发明专利]MapReduce分布式系统的作业诊断方法及设备

权利要求书

1.一种MapReduce分布式系统的作业诊断方法，其特征在于，包括：

获得MapReduce分布式系统中待诊断对象的对象标识，所述对象标识包括集群标识，或者集群标识和作业标识；

利用所述对象标识，获得至少一个作业运行的日志文件；

根据所述日志文件和预先配置的诊断规则，对所述至少一个作业进行诊断，以获得诊断结果；

所述根据所述日志文件和预先配置的诊断规则，对所述至少一个作业进行诊断，包括：

根据所述日志文件，提取作业信息；

根据预先设置的数据格式，对所述作业信息进行封装；

根据所述诊断规则，对封装之后的作业信息进行诊断。

2.根据权利要求1所述的方法，其特征在于，所述利用所述对象标识，获得至少一个作业运行的日志文件，包括：

利用所述对象标识，获得所述日志文件的URL；

根据所述日志文件的URL，获得所述日志文件。

3.根据权利要求1～2任一权利要求所述的方法，其特征在于，所述根据所述日志文件和预先配置的诊断规则，对所述至少一个作业进行诊断，以获得诊断结果之后，还包括：

根据所述诊断结果，调整所述至少一个作业的运行控制参数。

4.根据权利要求1～2任一权利要求所述的方法，其特征在于，所述日志文件包括配置文件和状态文件。

5.根据权利要求1～2任一权利要求所述的方法，其特征在于，所述方法还包括：

对所述至少一个作业的运行状况进行统计，以获得统计信息。

6.一种MapReduce分布式系统的作业诊断设备，其特征在于，包括：

获得单元，用于获得MapReduce分布式系统中待诊断对象的对象标识，所述对象标识包括集群标识，或者集群标识和作业标识；

所述获得单元，还用于利用所述对象标识，获得至少一个作业运行的日志文件；

诊断单元，用于根据所述日志文件和预先配置的诊断规则，对所述至少一个作业进行诊断，以获得诊断结果；

所述诊断单元，具体用于

根据所述日志文件，提取作业信息；根据预先设置的数据格式，对所述作业信息进行封装；以及根据所述诊断规则，对封装之后的作业信息进行诊断。

7.根据权利要求6所述的设备，其特征在于，所述获得单元，具体用于

利用所述对象标识，获得所述日志文件的URL；以及根据所述日志文件的URL，获得所述日志文件。

8.根据权利要求6～7任一权利要求所述的设备，其特征在于，所述设备还包括调整单元，用于

根据所述诊断结果，调整所述至少一个作业的运行控制参数。

9.根据权利要求6～7任一权利要求所述的设备，其特征在于，所述获得单元所获得的所述日志文件包括配置文件和状态文件。

10.根据权利要求6～7任一权利要求所述的设备，其特征在于，所述设备还包括统计单元，用于

对所述至少一个作业的运行状况进行统计，以获得统计信息。