[发明专利]一种存放备份数据的分布式存储系统及方法

说明书

本发明提出了一种存放备份数据的分布式存储系统及方法，使用分布式存储系统的方式代替索引方式对备份的数据进行管理。本发明提出的一种分布式存储方法，包括备份数据的存放的方法、数据恢复的方法以及备份数据垃圾回收的方法，使用该数据存放方法能够极大的利用磁盘设备高IOPS以及集群的高并发优势，系统设计有冗余，不会轻易出现系统崩溃，并且省去了很多优化备份服务器自身数据的环境，既便于系统管理员进行系统管理又节省了数据库的授权费用。并且和传统的备份系统索引管理不同，不需要通过模拟磁带的方式进行文件系统的空间管理，做到数据在失效时能及时回收，提高了存储空间的利用率。

技术领域

本发明涉及数据备份技术领域，尤其涉及分布式存储、文件系统的相关技术，具体说是一种存放备份数据的分布式存储系统及方法。

背景技术

随着云计算、大数据等新型技术的发展，业务系统产生的数据量呈现指数级增长，因此对备份系统的IPO和ITO要求越来越高。同时，磁盘技术的发展速度远远超过磁带介质的发展步伐，越来越多的设备采用磁盘设备代替磁带设备作为首选备份介质。

但是，目前的备份系统对磁盘设备的支持存在如下问题：主流备份软件均使用磁带的方式管理磁盘，只有磁盘上存储的数据全部过期之后才会对磁盘空间进行回收，极大浪费了磁盘的空间。对于文件系统备份，若采用文件索引的方式进行管理，大量的文件将导致备份软件索引管理困难，长时间大量文件备份后，备份系统的索引空间会出现暴涨，伴有显著的性能降低。海量文件的增量备份恢复时，需要一次一次的恢复增量，将消耗大量时间，恢复浏览周期内的文件需要进行繁琐的索引查询，若使用文件索引，索引的效率非常低下，并且索引结构非常臃肿。若使用小型开源数据库存放索引，则当文件数量过多时会导致数据库稳定性下降，非常不利于维护，若使用大型商业数据库存放索引，则又需要高额的附加费用。数据的备份和恢复仅由单个存储设备提供支持，当备份域规模很大时，很容易出现备份设备的性能瓶颈，特别是备份设备的吞吐量瓶颈，可能会导致多个备份作业并发时无法在规定的备份窗口内完成备份任务。单个存储设备的存储空间扩容能力有限，并且纵向空间扩容会导致备份设备的处理性能下降，从而降低备份设备的性能，备份设备存在单点故障，如果备份设备硬件出现损坏，在硬件修复之前不得不中断系统的备份作业。

发明内容

针对以上缺点，本发明提出了一种存放备份数据的分布式存储系统及方法，使用分布式存储方式代替索引方式对备份数据进行管理，提高整体性能。

本发明实施例提供了一种存放备份数据的分布式存储系统及方法，所述的系统，包括集群管理节点、元数据管理节点和存储节点；

所述集群管理节点用于提供集群的管理服务，以及元数据管理节点的选举和仲裁；所述集群管理节点的数量为N，其中N为自然数，N≥3；

所述元数据管理节点用于管理整个集群的配置信息并负责元数据管理节点的选举和切换；所述元数据管理节点至少包括主用元数据管理节点和备用数据管理节点；所述主用元数据管理节点用于管理整个集群的索引信息，负责数据导流；所述备用数据管理节点用于当主用元数据管理节点出现故障时，替代主用元数据管理节点工作；

所述存储节点用于存储备份数据；所述存储节点的数量为M，其中M为自然数，M≥2。

进一步的，所述存储节点的数据存储结构包括元数据管理区、位图和数据管理区；

所述元数据管理区用于存放所有的元数据；所述元数据包括数据块的属性信息；所述数据块用于存放按照硬盘大小64兆切块后的备份数据；

所述位图采用表的方式记录所述存储节点上的数据块使用情况；

所述数据管理区用于存放数据块。

一种存放备份数据的分布式存储方法，是基于一种存放备份数据的分布式存储系统实现，包括：