[发明专利]调用hadoop集群的方法和装置

说明书

本发明提出一种调用hadoop集群的方法和装置，该方法包括：在应用程序启动后，初始化hadoop API，并采用初始化后的API根据默认值描述虚拟的hadoop集群；读取用户上传的待调用hadoop集群的配置文件；采用所述配置文件更新所述默认值，得到新值；重新初始化hadoop API，并采用重新初始化后的API根据新值描述真实的hadoop集群；根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。该方法能够在调用hadoop集群时，提高灵活性，以动态调用hadoop集群，并且也不需要开发者对hadoop集群的安装细节很了解。

技术领域

本发明涉及计算机技术领域，尤其涉及一种调用hadoop集群的方法和装置。

背景技术

hadoop是一种分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。在开发基于hadoop集群的一些应用程序时，开发者一般通过两种方式。第一种方式是将集群的配置文件嵌入到应用程序的代码中，然后通过hadoop应用程序编程接口(Application ProgrammingInterface，API)的默认处理方式，调用集群服务。另一种方式需要开发者将调用集群服务所需要的参数传递给相应的API。但是，第一种方式会存在不够灵活的问题，第二种方式存在需要开发者对集群服务非常熟悉的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种调用hadoop集群的方法，该方法可以在调用hadoop集群时，提高灵活性，以动态调用hadoop集群，并且也不需要开发者对hadoop集群的安装细节很了解，便于将精力专注于hadoop服务的使用。

本发明的另一个目的在于提出一种调用hadoop集群的装置。

为达到上述目的，本发明第一方面实施例提出的调用hadoop集群的方法，包括：在应用程序启动后，初始化hadoop API，并采用初始化后的API根据默认值描述虚拟的hadoop集群；读取用户上传的待调用hadoop集群的配置文件；采用所述配置文件更新所述默认值，得到新值；重新初始化hadoop API，并采用重新初始化后的API根据新值描述真实的hadoop集群；根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。

本发明第一方面实施例提出的调用hadoop集群的方法，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。

为达到上述目的，本发明第二方面实施例提出的调用hadoop集群的装置，包括：第一初始化模块，用于在应用程序启动后，初始化hadoop API，并采用初始化后的API根据默认值描述虚拟的hadoop集群；读取模块，用于读取用户上传的待调用hadoop集群的配置文件；第一更新模块，用于采用所述配置文件更新所述默认值，得到新值；重新初始化模块，用于重新初始化hadoop API，并采用重新初始化后的API根据新值描述真实的hadoop集群；调用模块，用于根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。

本发明第二方面实施例提出的调用hadoop集群的装置，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明