[发明专利]一种基于混合编码的hadoop数据分发方法

摘要

本发明公开了一种基于混合编码的hadoop数据分发方法。该方法包括，改变传统的hadoop系统中的三副本存储方式，结合RAID1和RAID5技术对数据进行分发存储，当用户将文件写入集群，文件被划分为多个block存储在集群中。根据RAID1的概念，每个block会生成一个副本，设定一个stripe长度将block进行存储，一个stripe中的block及其副本分别放置在不同机架下的节点中，根据RAID5将一个stripe中的block进行异或产生一个校验块，校验块同样也遵循RAID1的方式进行存储。在节点损坏导致block丢失时，可以根据副本或校验块对文件进行恢复，保证文件存储的可靠性。本发明是基于RAID1+5方式存储，故有较好的容错性能，另外，使用RAID1+5的混合模式相较于传统hadoop的三副本存储方式节省了存储空间。

主权项

1.一种基于混合编码的hadoop数据分发方法，其特征在于，包括如下步骤：(1)当hadoop集群被启动，客户端client请求向集群写入数据，文件被划分为块block，以条带stripe的方式根据RAID1+RAID5方式进行存储；(2)当集群中某个节点中某个block的一个副本或两个副本丢失时，根据RAID5对block进行恢复；(3)当集群中某个stripe中丢失了多个block的一个副本时，根据RAID1对block进行恢复；(4)集群中发生损坏或丢失的block在恢复后会保持RAID1+RAID5的存储方式。