[发明专利]读取和写入用于HADOOP计算的数据的方法和系统

说明书

技术领域

本发明涉及一种用于分布式计算的技术，尤其涉及一种处理用于分布式计算的数据的方法和系统。

背景技术

分布式计算平台是基于分布式存储平台之上存在的，用于处理分布式存储平台中的数据。近年来较盛行的MapReduce计算模型能够利用分布式的计算能力处理大数据，这一便利性也激发了数据的计算需求。

然而，MapReduce计算模型也存在例如分布式的计算平台和存储平台强绑定的制约性。以作为一种MapReduce计算模型的具体实现的HADOOP为例，HADOOP计算平台要求其所计算的数据必须存储于与之强绑定的存储平台(即HDFS)上。这就给HADOOP的具体应用带来了不便：有大量的数据存储在HDFS之外的已有存储系统之上，这些数据有计算的需求，却缺乏计算的资源。

在这种情况下，目前通常的做法是，从一个存储系统上将数据传输到HDFS上，然后在HDFS上触发计算，计算完成后再将计算结果传输回原有的存储系统上。这就带来了巨大的消耗，浪费了大量的存储空间(例如需要存储2份以上的数据)、传输带宽(大量的数据传输占用带宽)和处理时间(因为在处理中存在很多单点，造成整体耗时较大)。

发明内容

本发明的实施例提供一种读取和写入用于HADOOP计算的数据的方法和系统，在HADOOP计算模型的应用中提供与非HDFS存储系统的存取接口，在分布式计算中可直接存取非HDFS存储系统中的数据，剥离HADOOP对HDFS的强烈依赖，从而节省存储空间和处理时间。

为达到上述目的，本发明的实施例采用如下技术方案：

一种从非HADOOP分布式文件系统(HDFS)读取用于HADOOP计算的输入数据的方法，其特征在于，所述方法包括：定义用于从所述非HDFS读取数据的数据读取类，所述数据读取类继承RecordReader类；实现在HADOOP分布式计算模型中MapReduce框架的InputFormat 类中的getRecordReader方法和getSplits方法。其中，在实现的getRecordReader方法中，创建定义的数据读取类的实例或对象并返回所述实例或对象，并且在实现的getSplits方法中，将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。

一种将HADOOP计算的输出数据写入非HDFS的方法，其特征在于，所述方法包括：定义用于将所述输出数据写入所述非HDFS的数据写入类，所述数据写入类继承RecordWriter类；实现在HADOOP分布式计算模型中OutputFormat类中的getRecordWriter方法。其中，在实现的getRecordWriter方法中，创建定义的数据写入类的实例或对象并返回所述实例或对象。

一种从非HDFS读取用于HADOOP计算的输入数据的系统，其特征在于，所述系统包括：读取类定义模块，用于定义用于从所述非HDFS读取数据的数据读取类，所述数据读取类继承RecordReader类；读取方法实现模块，用于实现在HADOOP分布式计算模型中的InputFormat类中的getRecordReader方法和getSplits方法。其中，在实现的getRecordReader方法中，读取方法实现模块创建读取类定义模块定义的数据读取类的实例或对象并返回所述实例或对象，并且在实现的getSplits方法中，读取方法实现模块将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。

一种将HADOOP计算的输出数据写入非HDFS的系统，其特征在于，所述系统包括：写入类定义模块，用于定义用于将所述输出数据写入所述非HDFS的数据写入类，所述数据写入类继承RecordWriter类；写入方法实现模块，用于实现在HADOOP分布式计算模型中的OutputFormat类中的getRecordWriter方法。其中，在实现的getRecordWriter方法中，写入方法实现模块创建定义的数据写入类的实例或对象并返回所述实例或对象。