[发明专利]支持海量数据访问的分布式文件系统的架构方法

权利要求书

1.支持海量数据访问的分布式文件系统的架构方法，其特征在于，包括以下步骤：

(1)采用非阻塞的网络通信框架，在Linux系统中，采用epoll选择器；

(2)采用基于动态代理的远程过程调用；所述的远程过程调用的传统模式为三层：

(2-1)存根/框架层：用于客户端存根/代理、服务器端框架；

(2-2)远程引用层：用于远程引用行为；

(2-3)传输层：用于连接的建立和管理，以及远程对象的跟踪；

步骤(2)中所述的动态代理模式为：运行时根据需要动态的生成代理对象，将要调用的方法名、参数通过包装后发送给服务端，服务端接收到请求后查找已经注册的服务实体，调用实体的方法后对返回值和异常包装后发送给客户端；

(3)客户端通过API访问文件系统，集群中的节点通过以太网实现相互通信，每个节点负责维护路由表、元数据、文件数据；客户端连接任意一个已注册服务的节点即实现对文件的操作；

(4)文件通过一致性哈希算法映射到相应的节点上，分布式哈希表采用Kademila算法；节点间的寻址算法采用了Kademlia算法，对路由表进行划分并通过异或运算得到节点间的距离以实现最近邻节点的跳转；

(5)对大文件分块，文件的数据以及元数据都备份在若干个不同的节点上；所述对大文件分块的步骤为：将大于64M的文件进行分块，默认每个分块为64M；每个分块都备份到邻近的3个节点上，文件的写入默认采用的是追加的方式，写入过程为链式的，每个节点接收到数据后向下一个节点传输，数据至少在第一个节点校验成功后认为写入成功，若有分块写入失败，则由检查数据备份的线程发起同步；

(6)完全分布式的结构在多个节点上都存在文件备份，对某个文件操作时采用PaxosLease算法在多个节点中选举出领导者，由领导者操作后再同步到其他备份。

2.根据权利要求1所述的支持海量数据访问的分布式文件系统的架构方法，其特征在于，步骤(1)中所述的非阻塞的网络通信框架，是基于Java的NIO库MINA，其提供支持TCP/UDP上抽象的事件驱动的API，对数据包进行封装解包，并交给多线程控制器处理。

3.根据权利要求1所述的支持海量数据访问的分布式文件系统的架构方法，其特征在于，步骤(3)中所述的元数据参考Linux文件系统索引节点和GFS的思想，包括文件的子节点信息、文件大小、权限模式、数据块信息，形成树形结构，系统中每个文件块的大小为64M，大文件被分块存储，并由文件元数据的块信息链表维护；文件操作API包括创建节点、判断是否存在、创建目录、删除、列出目录文件的操作。

4.根据权利要求1所述的支持海量数据访问的分布式文件系统的架构方法，其特征在于，步骤(4)所述Kademila算法步骤如下：

(4-1)机器特征和文件路径都通过哈希运算得到一个ID；

(4-2)ID分布在2⁶⁴大小的环上，为寻找与当前key所映射到的ID最邻近的节点，需要计算到已知节点的距离，在Kademila算法中，两个ID间的距离通过异或运算得到：

d(x,y)=x⊕y;]]>

异或运算是单向性的，对于任意给定的节点x和距离D，总会存在一个确定的节点y，使得d(x,y)＝D；

(4-3)Kad路由表由称之为K桶的数据结构组成，K桶实际存放的是<K,V>对映射，每个K桶都有一个ID以及它所包含的ID值的距离范围，当插入的<K,V>对足够多时，K桶会分裂，在最终状态下一台机器的Kad路由表为64个；若某个K桶已满，则采用LRU算法替换；

(4-4)Kad路由是一棵非平衡的线段二叉树，其操作分为插入、删除、查找最接近某ID值的一个。

5.根据权利要求4所述的支持海量数据访问的分布式文件系统的架构方法，其特征在于，步骤(4-1)中机器特征和文件路径都通过64位CityHash算法得到一个ID。