[发明专利]一种面向分布式文件系统的协作式日志系统

摘要

一种面向分布式文件系统的协作式日志系统，属于分布式文件系统，解决设备故障导致日志记录丢失致使系统恢复操作无法进行的问题，提高分布式文件系统的写性能、恢复性能。本发明包括日志请求模块、分发模块、N个传输模块、N个一致性保证模块、N个记录添加模块、N个记录回收模块和N个恢复模块，日志请求模块和分发模块运行于元数据管理节点或数据存储节点，各数据存储节点上均运行传输模块、一致性保证模块、记录添加模块、记录回收模块和恢复模块。本发明利用分布式文件系统中网络传输效率高于存储设备低速传输效率的特点，在保证日志可靠性及发挥正常日志作用的前提下，提高了分布式文件系统的写性能和恢复性能。

主权项

一种面向分布式文件系统的协作式日志系统，包括日志请求模块、分发模块、N个传输模块、N个一致性保证模块、N个记录添加模块、N个记录回收模块和N个恢复模块，N≥2；其特征在于：(1)日志请求模块，运行于元数据管理节点或数据存储节点，当收到文件系统的修改操作命令时，判断记录添加模块是否发出暂停请求，是则等待记录回收模块发送的回收结束信号，收到该回收结束信号，再形成日志记录添加请求，否则直接形成日志记录添加请求；然后将日志记录添加请求发送到分发模块；日志记录添加请求由请求类型和多条日志记录组成，请求类型为添加记录，各条日志记录均具有序号；当收到文件系统的恢复命令时，形成恢复请求，将恢复请求发送到分发模块并等待，接收到恢复模块传送的各条日志记录后，将它们传送到文件系统；恢复请求由请求类型和多个日志记录序号组成，请求类型为恢复；(2)分发模块，运行于元数据管理节点或数据存储节点，分别向各传输模块发送连接请求，建立网络传输通道；接收到日志记录添加请求或恢复请求后，将其通过组播方式并行传输到各传输模块；连接请求由请求类型、本地网络地址、目标网络地址和端口号组成，请求类型为连接，本地网络地址为分发模块所在节点的IP地址、目标网络地址为传输模块所在节点的IP地址，端口号为网络传输通道占用的端口号码；(3)N个传输模块完全相同，分别运行于各数据存储节点，接收到连接请求后，建立网络传输通道；接收到日志记录添加请求后，将其发送到所在数据存储节点的一致性保证模块；接收到恢复请求后，将其发送到所在数据存储节点的恢复模块；接收到记录回收请求后，将其发送到各记录回收模块；(4)N个一致性保证模块完全相同，分别运行于各数据存储节点，向其它各数据存储节点的一致性保证模块发送所接收日志记录添加请求中的日志 记录最大序号，同时接收其它各数据存储节点的一致性保证模块所发送的日志记录最大序号，并记载与自身发送的日志记录最大序号相同的所接收的日志记录最大序号的数目，判断该数目是否超过数据存储节点总数的一半，是则将所接收的日志记录添加请求发送到所在数据存储节点的记录添加模块，否则继续等待传输模块的下一个日志记录添加请求；(5)N个记录添加模块完全相同，分别运行于各数据存储节点，判断所在数据存储节点上日志剩余空间是否满足所述日志记录添加请求中各条日志记录的总长度，是则将各条日志记录添加到日志中；否则向所在数据存储节点的传输模块发出记录回收请求，并向日志请求模块发出暂停请求；记录回收请求由请求类型和回收记录数目组成，请求类型为回收，回收记录数目为日志记录添加请求中日志记录条数的M倍，M≥2；(6)N个记录回收模块完全相同，分别运行于各数据存储节点，收到记录回收请求后，从本数据存储节点上日志起始位置开始回收记录回收请求中回收记录数目的日志记录，回收完成后向日志请求模块发送回收结束信号；(7)N个恢复模块完全相同，分别运行于各数据存储节点，接收到恢复请求后，根据恢复请求中的日志记录序号将相应序号的日志记录传输到日志请求模块。