[发明专利]一种数据加载方法、系统和数据处理方法、系统

权利要求书

1.一种数据加载方法，应用于并行分布式容错文件系统，其特征在于，该方法包括：

在原始数据所在的物理设备上创建并行分布式容错文件系统数据节点，在该数据节点上为该原始数据划分文件带区；

该原始数据所在的物理设备将该原始数据在数据节点上的元数据信息加载到所述并行分布式容错文件系统的名称节点上；

所述元数据信息包括原始数据的名称和文件带区信息。

2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

原始数据所在物理设备计算各个文件带区的校验值；

所述元数据信息进一步包括：原始数据的各个文件带区的校验值信息。

3.一种数据加载系统，其特征在于，该系统包括原始数据所在的物理设备和并行分布式容错文件系统中的名称节点；

原始数据所在的物理设备，在该物理设备上创建并行分布式容错文件系统的数据节点，在该数据节点上为该原始数据划分文件带区，将该原始数据在该数据节点上的元数据信息加载到所述名称节点上，所述元数据信息包括原始数据的名称和文件带区信息；

所述名称节点，用于存储元数据信息。

4.根据权利要求3所述的系统，其特征在于，

所述原始数据所在的物理设备，计算各个文件带区的校验值；

所述元数据信息进一步包括：原始数据的各个文件带区的校验值信息。

5.一种数据处理方法，其特征在于，该方法包括：

在当前数据处理系统中的计算资源所在物理设备上有需要处理的原始数据时，在该物理设备上创建并行分布式容错文件系统的数据节点，在该数据节点上为该原始数据划分文件带区，该物理设备将该数据节点上的元数据信息上传到名称节点上，所述元数据信息包括原始数据的名称和文件带区信息；

所述计算资源从所述名称节点上获取所述原始数据的元数据信息，根据该元数据信息对存储在该计算资源所在物理设备本地的数据进行处理。

6.根据权利要求5所述的方法，其特征在于，该方法进一步包括：

当所述计算资源被调度用于另一种数据处理系统时，该计算资源所在的物理设备删除在该物理设备上创建的所述数据节点以及为所述原始数据划分的文件带区，将更新的元数据信息上传到所述名称节点上。

7.根据权利要求5或6所述的方法，其特征在于，

所述当前数据处理系统是业务分析系统，所述另一种数据处理系统是业务处理系统。

8.一种数据处理系统，其特征在于，该系统包括计算资源所在的物理设备和并行分布式容错文件系统中的名称节点；

所述计算资源所在的物理设备，如果该物理设备上有当前数据处理系统需要处理的原始数据，则在该物理设备上创建并行分布式容错文件系统的数据节点，在该数据节点上为该原始数据划分文件带区，该物理设备将该原始数据在数据节点上的元数据信息上传到所述名称节点上，所述元数据信息包括原始数据的名称和文件带区信息；

所述计算资源从所述名称节点上获取所述原始数据的元数据信息，根据该元数据信息对存储在该计算资源所在物理设备本地的数据进行第一数据处理；

所述名称节点，用于存储元数据信息。

9.根据权利要求8所述的系统，其特征在于，

该计算资源所在的物理设备，在所述计算资源被调度用于另一种数据处理系统时，删除在该物理设备上创建的所述数据节点以及为所述原始数据划分的文件带区，将更新的元数据信息上传到所述名称节点上。

10.根据权利要求8或9所述的系统，其特征在于，

所述当前数据处理系统是业务分析系统，所述另一种数据处理系统是业务处理系统。