[发明专利]一种用于多并行处理框架的数据处理方法及装置

权利要求书

1.一种用于多并行处理框架的数据处理方法，其特征在于，包括以下步骤：

步骤S1：获取使用环境的配置信息；所述配置信息用于表明应用平台类型；

步骤S2：根据所述使用环境的配置信息和底层存储数据属性选择相应的数据调用方法并调用底层存储数据，然后通过统一的格式转换方法对所获得的底层存储数据集中的底层存储数据进行数据格式转换，得到统一格式抽象数据集；

所述统一格式抽象数据集为JSON格式抽象数据集；

其中，所述底层存储数据属性包括存储介质类型和存储位置信息；

步骤S3：将所述统一格式抽象数据集提供给上层应用使用。

2.根据权利要求1所述的数据处理方法，其特征在于，所述步骤S1具体包括：

步骤S1.1：将使用环境的配置信息和用于获取所述配置信息的环境获取方法封装为第一个类；

步骤S1.2：通过所述第一个类提供的所述环境获取方法获取使用环境的配置信息。

3.根据权利要求2所述的数据处理方法，其特征在于，所述步骤S2具体包括：

步骤S2.1：将所述底层存储数据属性、统一格式抽象数据集和用于获取底层存储数据属性的属性获取方法、用于底层存储数据调用操作的数据调用方法、用于格式转换操作的格式转换方法以及用于获取统一格式抽象数据集的结果获取方法封装为第二个类；

步骤S2.2：通过所述属性获取方法获取所需的底层存储数据属性，其中，所述底层存储数据属性包括存储介质类型和存储位置信息；

步骤S2.3：根据步骤S1获取的使用环境的配置信息和步骤S2.2获取的所述底层存储数据属性，确定数据调用方法，调取底层存储数据，并通过统一的格式转换方法对所获得的底层存储数据集中的底层存储数据进行数据格式转换，得到统一格式抽象数据集。

4.根据权利要求3所述的数据处理方法，其特征在于，所述步骤S3具体为：

通过步骤S2提供的所述结果获取方法获取所述统一格式抽象数据集，并将所述统一格式抽象数据集提供给上层应用使用。

5.一种用于多并行处理框架的数据处理装置，其特征在于，包括以下单元：

环境获取单元，用于获取使用环境的配置信息；所述配置信息用于表明应用平台类型；

格式转换单元，用于根据所述使用环境的配置信息和底层存储数据属性选择相应的数据调用方法并调用底层存储数据，然后通过统一的格式转换方法对所需调用的底层存储数据集中的底层存储数据进行数据格式转换，得到统一格式抽象数据集；

所述统一格式抽象数据集为JSON格式抽象数据集；

其中，所述底层存储数据属性包括存储介质类型和存储位置信息；

数据传递单元，用于将所述统一格式抽象数据集提供给上层应用使用。

6.根据权利要求5所述的数据处理装置，其特征在于，所述环境获取单元具体用于：

将使用环境的配置信息和用于获取所述配置信息的环境获取方法封装为第一个类；

通过所述第一个类提供的所述环境获取方法获取使用环境的配置信息。

7.根据权利要求6所述的数据处理装置，其特征在于，所述格式转换单元具体用于：

将所述底层存储数据属性、统一格式抽象数据集和用于获取底层存储数据属性的属性获取方法、用于底层存储数据调用操作的数据调用方法、用于格式转换操作的格式转换方法以及用于获取统一格式抽象数据集的结果获取方法封装为第二个类；

通过所述属性获取方法获取所需的底层存储数据属性，其中，所述底层存储数据属性包括存储介质类型和存储位置信息；

根据获取的使用环境的配置信息和所述底层存储数据属性，确定数据调用方法，调取底层存储数据，并通过统一的格式转换方法对所获得的底层存储数据集中的底层存储数据进行数据格式转换，得到统一格式抽象数据集。

8.根据权利要求7所述的数据处理装置，其特征在于，所述数据传递单元具体用于：

通过格式转换单元提供的所述结果获取方法获取所述统一格式抽象数据集，并将所述统一格式抽象数据集提供给上层应用使用。