[发明专利]支持海量数据访问的分布式文件系统的架构方法

摘要

本发明公开了一种支持海量数据访问的分布式文件系统的架构方法，该方法基于分布式哈希表，通过对文件路径进行哈希映射获取存取节点。采用完全分布式的无中心化架构设计，新节点通过若干次通信即可加入集群。节点间的寻址采用Kademlia算法，对路由表进行划分并通过异或运算得到节点间的距离以实现最近邻节点的跳转。通过PaxosLease算法选取领导者来处理映射到该节点的操作，以解决一致性问题。文件的实际数据则进行固定大小的分块存储，并冗余备份在若干个节点上，提供安全性以及分布式计算的需求。架构的系统在海量文件处理时能显著地提高处理效率，在较低延迟需求的环境中也可取得较好效果。

主权项

支持海量数据访问的分布式文件系统的架构方法，其特征在于，包括以下步骤：(1)采用非阻塞的网络通信框架，在Linux系统中，采用epoll选择器；(2)采用基于动态代理的远程过程调用；所述的远程过程调用的传统模式为三层：(2‑1)存根/框架层：用于客户端存根/代理、服务器端框架；(2‑2)远程引用层：用于远程引用行为；(2‑3)传输层：用于连接的建立和管理，以及远程对象的跟踪；步骤(2)中所述的动态代理模式为：运行时根据需要动态的生成代理对象，将要调用的方法名、参数通过包装后发送给服务端，服务端接收到请求后查找已经注册的服务实体，调用实体的方法后对返回值和异常包装后发送给客户端；(3)客户端通过API访问文件系统，集群中的节点通过以太网实现相互通信，每个节点负责维护路由表、元数据、文件数据；客户端连接任意一个已注册服务的节点即实现对文件的操作；(4)文件通过一致性哈希算法映射到相应的节点上，分布式哈希表采用Kademila算法；节点间的寻址算法采用了Kademlia算法，对路由表进行划分并通过异或运算得到节点间的距离以实现最近邻节点的跳转；(5)对大文件分块，文件的数据以及元数据都备份在若干个不同的节点上；所述对大文件分块的步骤为：将大于64M的文件进行分块，默认每个分块为64M；每个分块都备份到邻近的3个节点上，文件的写入默认采用的是追加的方式，写入过程为链式的，每个节点接收到数据后向下一个节点传输，数据至少在第一个节点校验成功后认为写入成功，若有分块写入失败，则由检查数据备份的线程发起同步；(6)完全分布式的结构在多个节点上都存在文件备份，对某个文件操作时采用PaxosLease算法在多个节点中选举出领导者，由领导者操作后再同步到其他备份。