[发明专利]一种用于多并行处理框架的数据处理方法及装置有效
| 申请号： | 201710584226.4 | 申请日： | 2017-07-18 |
| 公开（公告）号： | CN107480202B | 公开（公告）日： | 2020-06-02 |
| 发明（设计）人： | 唐卓;刘昆昆;陈都 | 申请（专利权）人： | 湖南大学 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182;G06F16/11;G06F16/2458;G06F9/54 |
| 代理公司： | 长沙市融智专利事务所(普通合伙) 43114 | 代理人： | 龚燕妮 |
| 地址： | 410082 湖*** | 国省代码： | 湖南;43 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种用于多并行处理框架的数据处理方法及装置，该方法包括：步骤S1：获取使用环境的配置信息；步骤S2：根据所述使用环境的配置信息和底层存储数据属性选择相应的数据调用方法并调用底层存储数据，然后通过统一的格式转换方法对获得的底层存储数据集中的底层存储数据进行数据格式转换，得到统一格式抽象数据集；步骤S3：将所述统一格式抽象数据集提供给上层应用使用。本发明通过根据使用环境配置信息和底层存储数据存储介质类型，选择对应的数据调用方法并调用底层存储数据，然后通过统一的格式转换方法，将底层存储数据转换为统一格式抽象数据集并提供给上层应用使用，进一步提高多并行处理框架的扩展性、通用性和易用性。 | ||
| 搜索关键词： | 一种 用于 并行 处理 框架 数据处理 方法 装置 | ||
【主权项】：
一种用于多并行处理框架的数据处理方法，其特征在于，包括以下步骤：步骤S1：获取使用环境的配置信息；步骤S2：根据所述使用环境的配置信息和底层存储数据属性选择相应的数据调用方法并调用底层存储数据，然后通过统一的格式转换方法对所获得的底层存储数据集中的底层存储数据进行数据格式转换，得到统一格式抽象数据集；其中，所述底层存储数据属性包括存储介质类型和存储位置信息；步骤S3：将所述统一格式抽象数据集提供给上层应用使用。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于湖南大学，未经湖南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710584226.4/，转载请声明来源钻瓜专利网。
