[发明专利]一种面向AWS平台的分布式数据管理方法

摘要

本发明公开一种面向AWS平台的分布式数据管理方法，属于信息技术处理领域。本方法公开了面向AWS（AmazonWebServices亚马逊网络服务系统）平台，进行快速且廉价的数据分布方法。本发明明确了基于AWS所提供的EC2（ElasticComputeCloud弹性计算云）和EBS（ElasticBlockStorage弹性块存储）服务，采用集中式数据划分与分配、并行配对挂载、存储与处理服务分离等手段，实现了在大规模集群内进行批量快速的数据导入准备，同时在集群计算资源被回收后，实现低成本的数据存储与复用，从而将集群数据的准备时间与费用成本降到最低。

主权项

一种面向AWS平台的分布式数据管理方法，其特征在于，利用集中式数据分配与批量式数据挂载的方式来进行大规模集群数据准备，包括如下步骤：步骤1，创建单台实例并挂载大量小容量EBS卷组，实现大数据的划分与分配；步骤2，创建全部集群实例，与得到数据分配后的EBS卷组进行并行匹配挂载；步骤3，待计算任务结束后，对存储服务与计算服务进行分离，卸载所有EBS卷组并终止集群实例，将并行数据结果单独存留在EBS卷组中。