[发明专利]读取和写入用于HADOOP计算的数据的方法和系统

权利要求书

1.一种从非HADOOP分布式文件系统HDFS读取用于HADOOP计算的输入数据的方法，其特征在于，所述方法包括：

定义用于从所述非HDFS读取数据的数据读取类，所述数据读取类继承RecordReader类；

实现在HADOOP分布式计算模型中的InputFormat类中的getRecordReader方法和getSplits方法，

其中，在实现的getRecordReader方法中，创建定义的数据读取类的实例或对象并返回所述实例或对象，并且在实现的getSplits方法中，将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：配置HADOOP应用从所述非HDFS上指定的位置读取所述输入数据。

3.根据权利要求2所述的方法，其特征在于，所述非HDFS为网络文件系统NFS。

4.一种将HADOOP计算的输出数据写入非HDFS的方法，其特征在于，所述方法包括：

定义用于将所述输出数据写入所述非HDFS的数据写入类，所述数据写入类继承RecordWriter类；

实现在HADOOP分布式计算模型中的OutputFormat类中的getRecordWriter方法，

其中，在实现的getRecordWriter方法中，创建定义的数据写入类的实例或对象并返回所述实例或对象。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：配置HADOOP应用将所述输出输入写入所述非HDFS上指定的位置。

6.根据权利要求5所述的方法，其特征在于，所述非HDFS为NFS。

7.一种从非HDFS读取用于HADOOP计算的输入数据的系统，其特征在于，所述系统包括：

读取类定义模块，用于定义用于从所述非HDFS读取数据的数据读取类，所述数据读取类继承RecordReader类；

读取方法实现模块，用于实现在HADOOP分布式计算模型中的InputFormat类中的getRecordReader方法和getSplits方法，

其中，在实现的getRecordReader方法中，读取方法实现模块创建读取类定义模块定义的数据读取类的实例或对象并返回所述实例或对象，并且在实现的getSplits方法中，读取方法实现模块将从调用的getRecordReader方法返回的RecordReader实例或对象确认为定义的数据读取类的实例或对象。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：应用配置模块，用于配置HADOOP应用从所述非HDFS上指定的位置读取所述输入数据。

9.根据权利要求8所述的系统，其特征在于，所述非HDFS为NFS。

10.一种将HADOOP计算的输出数据写入非HDFS的系统，其特征在于，所述系统包括：

写入类定义模块，用于定义用于将所述输出数据写入所述非HDFS的数据写入类，所述数据写入类继承RecordWriter类；

写入方法实现模块，用于实现在HADOOP分布式计算模型中的OutputFormat类中的getRecordWriter方法，

其中，在实现的getRecordWriter方法中，写入方法实现模块创建定义的数据写入类的实例或对象并返回所述实例或对象。

11.根据权利要求10所述的系统，其特征在于，所述系统还包括：应用配置模块，用于配置HADOOP应用将所述输出输入写入所述非HDFS上指定的位置。

12.根据权利要求11所述的系统，其特征在于，所述非HDFS为NFS。