[发明专利]一种面向分布式文件系统的协作式日志系统

说明书

技术领域

本发明属于分布式文件系统，具体涉及一种面向分布式文件系统的协作式日志系统，以提高分布式文件系统的写性能、恢复性能。 

背景技术

互联网和多媒体应用使得数字信息呈爆炸式增长趋势，在质和量两方面对存储的需求也越来越大，面对这样的海量数据存储需求，运行于成百上千甚至成千上万存储设备的大规模分布式文件系统应运而生，并迅速应用于多种领域。分布式文件系统包括多个元数据管理节点和多个客户节点，每个客户节点分别连接各元数据管理节点，每个元数据管理节点又连接多个数据存储节点。随着分布式文件系统使用的存储设备增多，分布式文件系统遭遇不可预料事件的概率也大大增加，为保障系统提供服务的时间，保证系统运行的正确性，必须使用日志系统。许多分布式文件系统如Lustre，Google FileSystem，Hadoop File System等都使用了日志系统。 

日志系统由管理日志记录的各类模块和日志构成，首先文件系统在磁盘上为日志系统开辟额外存储空间，在文件系统对文件数据进行修改操作之前会将这些操作生成日志记录并写入到日志中，固定日志记录。在这种情况下，一旦遭遇宕机，日志系统就可以利用日志中的日志记录将文件系统恢复到宕机前的状态。日志系统的最大缺陷是所有文件更新都必须先固定日志记录，每次文件更新操作都要经历两次写操作，一次写入日志的固定日志记录操作，一次才是真正写入文件系统，额外的固定日志记录操作会造成文件系统性能下降，特别是使用磁盘这种低速存储设备来固定日志记录，文件系统性能下降更为严重。 

因为分布式文件系统下元数据管理节点或数据存储节点都是独立运行，都拥有自己的存储设备并且独自存取自己的日志记录。当存储设备出现设备故障时可能导致日志记录无法读取，导致系统恢复操作无法进行，最终致使整体分布式文件系统无法使用。 

发明内容

本发明提供一种面向分布式文件系统的协作式日志系统，解决因为设备故障导致日志记录丢失致使系统恢复操作无法进行的问题，提高分布式文件系统的写性能、恢复性能。 

为描述方便起见，本发明所提供的协作式日志系统，运行在一个元数据管理节点及其连接的N个数据存储节点上，每个数据存储节点上存储有自身的日志，N≥2； 

本发明所提供的一种面向分布式文件系统的协作式日志系统，包括日志请求模块、分发模块、N个传输模块、N个一致性保证模块、N个记录添加模块、N个记录回收模块和N个恢复模块，N≥2；其特征在于： 

(1)日志请求模块，运行于元数据管理节点或数据存储节点， 

当收到文件系统的修改操作命令时，判断记录添加模块是否发出暂停请求，是则等待记录回收模块发送的回收结束信号，收到该回收结束信号，再形成日志记录添加请求，否则直接形成日志记录添加请求；然后将日志记录添加请求发送到分发模块；日志记录添加请求由请求类型和多条日志记录组成，请求类型为添加记录，各条日志记录均具有序号； 

当收到文件系统的恢复命令时，形成恢复请求，将恢复请求发送到分发模块并等待，接收到恢复模块传送的各条日志记录后，将它们传送到文件系统；恢复请求由请求类型和多个日志记录序号组成，请求类型为恢复； 

(2)分发模块，运行于元数据管理节点或数据存储节点，分别向各传输模块发送连接请求，建立网络传输通道；接收到日志记录添加请求或恢复请 求后，将其通过组播方式并行传输到各传输模块；连接请求由请求类型、本地网络地址、目标网络地址和端口号组成，请求类型为连接，本地网络地址为分发模块所在节点的IP地址、目标网络地址为传输模块所在节点的IP地址，端口号为网络传输通道占用的端口号码； 

(3)N个传输模块完全相同，分别运行于各数据存储节点，接收到连接请求后，建立网络传输通道；接收到日志记录添加请求后，将其发送到所在数据存储节点的一致性保证模块；接收到恢复请求后，将其发送到所在数据存储节点的恢复模块；接收到记录回收请求后，将其发送到各记录回收模块； 

(4)N个一致性保证模块完全相同，分别运行于各数据存储节点，向其它各数据存储节点的一致性保证模块发送所接收日志记录添加请求中的日志记录最大序号，同时接收其它各数据存储节点的一致性保证模块所发送的日志记录最大序号，并记载与自身发送的日志记录最大序号相同的所接收的日志记录最大序号的数目，判断该数目是否超过数据存储节点总数的一半，是则将所接收的日志记录添加请求发送到所在数据存储节点的记录添加模块，否则继续等待传输模块的下一个日志记录添加请求；