[发明专利]面向基因测序大数据的云存储方法

摘要

本发明提供一种面向基因测序大数据的云存储方法，针对高通量测序大数据以及分析过程中的并发访问性能、访问频率、可用性等特点，提出条块化多副本，分布式多副本以及分布式单副本三种存储模式来保存不同的数据文件。本发明提供的面向基因测序大数据的云存储方法，采用基于GlusterFS分布式文件系统实现，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。

主权项

1.一种面向基因测序大数据的云存储方法，其特征在于：包括以下步骤：首先，根据数据文件的特点对基因测序大数据进行分类，然后根据分类结果选择存储策略的类型，将基因测序大数据上传到云存储服务器的各个存储节点进行存储；其中，针对单个文件大、并发性能要求高、访问频率高以及可访问性要求高的数据文件采用条块化多副本存储策略；针对单个文件大、并发访问频率低、数据可用性要求高以及数据规模大的数据文件采用分布式多副本存储策略；针对文件数量大、整体容量大、但大多数文件较小、访问频率低以及数据可用性要求低的数据文件采用分布式单副本存储策略；不同存储策略的存储过程为，条块化多副本存储策略：将单个大文件分割成若干数据块，每个数据块保存在不同存储节点上，提高并发访问性能；每个数据块都存储在至少三个不同存储节点上，以提高数据可用性；分布式多副本存储策略：构建分布式集群扩展存储空间以保存海量数据，每个文件在至少两个不同存储节点保存完整副本，提高数据可用性；分布式单副本存储策略：构建分布式集群扩展存储空间以存储海量数据，每个文件只在一个节点上保存完整副本。