[发明专利]一种支持大数据文件访问服务的高可用性对象存储方法

说明书

本发明提供了一种支持大数据文件访问服务的高可用性对象存储方法，包括：通过数据协议模块接口管理对象存储需要存储的对象可用Hadoop文件系统，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过所述数据协议模块接口可以访问对象存储服务存储的数据。本发明将Ceph存储系统作为Hadoop的后台存储，充分利用Hadoop分布式框架的高效性等特性支持大数据存储访问服务，更好地弥补文件系统的弊端。同时能在对象存储节点故障时，利用CTDB管理多网关对象存储服务，使集群中数据不丢失，确保业务能够正常稳定运行。

技术领域

本发明属于云存储及大数据领域，具体涉及一种支持大数据文件访问服务的高可用性对象存储方法。

背景技术

Ceph是一种高性能、高可靠性、高可扩展性的分布式存储系统，独一无二地在一套系统中同时提供三种接口：基于文件的接口，基于块设备的接口以及基于对象的接口。其中Object接口有原生的API，而且兼容Swift和S3的API。在文件接口上，可基于Ceph系统运行Hadoop处理业务和数据。当Hadoop利用Ceph作为存储后端时，可将Ceph强大的分布式存储能力与Hadoop中MapReduce强大的并行任务处理能力相融合。若同时结合HBASE面向列的非结构化数据库，便可实现能够提供更高可靠性、更强性能、更大容量利用率以及更便捷的大数据平台。

集群存储是面向文件级别的存储系统，如果在存储海量数据的情况下，必然会产生大量的数据文件。在传统的文件存储系统中，由于其自身的限制，当文件系统中存储的数据越来越多时，文件系统目录的深度、宽度会不断增大，导致元数据读写管理的效率以及数据读写性能不断降低，从而可能在文件系统出现数据不流转等问题，对系统造成障碍堵塞的状况。

为了防止这种情况的发生，我们使用基于Ceph的对象存储系统对数据进行存储，利用对象存储服务高安全与高可靠性、外加其随时随地可访问等特性解决海量数据存储问题。

但在原有的Ceph分布式集群存储系统中已经配置了非面向对象存储的数据类型。随着集群业务的不断增长，当数据量足够大时，系统不能将已有数据直接转化成面向对象的数据类型，这使原有数据和对象存储的数据相互分离，同时不能基于Ceph利用Hadoop的处理能力对数据进行挖掘分析。

我们在对分布式存储系统进行测试时发现，大规模的集群存储系统对数据的故障性处理设计要求很高，不论是网络故障、磁盘故障还是电源故障。通常集群中会加入一些技术来管理保护系统，使业务能稳定运转，防止设备在工作过程出现不确定因素，造成设备中的数据业务停止或者数据丢失。在客户使用系统时，一旦无法保证业务稳定，不论是由于设计上的失误、人为操作、或者其他的意外情况，都有可能对用户造成很大的损失。

发明内容

本发明的目的是提供一种支持大数据文件访问服务的高可用性对象存储方法，实现从Hadoop文件系统到Ceph对象存储集群的透明访问，使得Hadoop平台可以支持海量数据的存储与处理服务。

本发明的实施例提供了一种支持大数据文件访问服务的高可用性对象存储方法，其特征在于，包括：通过数据协议模块接口管理对象存储需要存储的对象可用Hadoop文件系统，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过数据协议模块接口可以访问对象存储服务存储的数据。

进一步地，该方法还包括：

通过对象服务函数接口管理进程，用于设备出现故障时，提高系统的容错性。

与现有技术相比本发明的有益效果是：

1)实现从Hadoop文件系统到Ceph对象存储系统的透明访问服务接口，使Hadoop能够高效地支持海量数据的存储服务，同时可支持使用Hadoop平台上MapReduce强大的并行任务处理能力以对象类型存储的海量数据进行挖掘分析。