[发明专利]一种辅助记录的组织方法

说明书

本发明提供一种辅助记录的组织方法，该方法包括逻辑日志转化为数据日志并在内存追加记录的过程和文件回收的过程。本发明提供的方法将文件拆分成了小文件，使回收时的内存消耗更加可控，同时，由于回收过程由独立后台线程运行，内存分配失败的代价也大大降低。将耗时的严重影响系统性能的阶段从关键路径剥离出来，提升了关键路径的处理速度，大大提高了用户体验的满意度。

技术领域

本发明涉及一种分布式文件操作方法，具体涉及一种辅助记录的组织方法。

背景技术

并行存储系统中，经常需要记录一些辅助记录或者索引来达到特定目的，如在创建过程中记录哪些磁盘上保存了该文件的数据，这样我们就能准确的知道那个磁盘上保存了哪些文件，当发生磁盘故障时能够快速的修复这些文件；服务端收到客户端的删除请求时只删除dentry项，并不回收磁盘数据，而是将删除记录下来后应答客户端，后台由独立回收线程完成真正的删除，以达到快速响应用户的目的。

在日志分布式文件系统中，这些记录同样需要记录日志以达到跟元数据相同的保护级别，否则当系统发生掉电等故障时这些记录有可能是不可信的。这些记录具有以下特点：同类型记录之间是独立的，对记录的存储位置没有特别要求，只在需要时能够拿到所有记录，可以含已失效的记录，但有效记录不能缺少。

为了不影响文件系统的并发性能，这些辅助记录所在的事务是不可能在辅助记录锁的保护下进行的，所以这类日志只能记录逻辑日志，利用日志处理线程的无并发特性在预处理时转化成数据日志以保证每条记录在文件内偏移量的唯一性。

这类记录的原有实现方式是每类记录放在同一个文件，当文件中的某个记录无效时，添加一条对消记录，在需要回收该文件时，从头到尾扫描文件记录，如果记录及对消记录同时存在则这两条记录都会被删除，剩余记录放入原文件以达到回收目的。

这种实现方式存在以下问题：

1)回收时可能由于内存不足失败。由于回收时需要将文件内所有记录load到内存并且建立内存hash结构以方便记录及其对消记录配对，当系统内存资源本身就比较紧张的情况下，可能由于内存分配失败导致回收失败。

2)如果日志系统的逻辑日志到数据日志转化过程处于关键路径，这种实现方式是不可接受的，这会使分布式文件系统产生锯齿状性能，甚至1分钟内不能响应用户，严重影响用户体验。这是由于回收会改变文件长度，进而改变新放入记录的偏移量，所以回收过程必须与逻辑日志到数据日志的转化过程互斥，原来的实现方式中回收也在日志处理线程中进行。当记录文件非常大时，即使加上预读机制，这一过程的耗时相对于文件系统的服务能力也是非常大的。对于分布式文件系统是不可接受的。

发明内容

为了克服上述现有技术的不足，本发明提供一种辅助记录组织方法，该方法将记录拆分成多个独立文件进行存放，将耗时的严重影响系统性能的阶段从关键路径剥离出来。使回收时的内存消耗更加可控，同时由于回收过程由独立后台线程运行，内存分配失败的代价也大大降低。

为了实现上述发明目的，本发明采取如下技术方案：

一种辅助记录的组织方法，该方法包括逻辑日志转化为数据日志并在内存追加记录的过程和文件回收的过程。

本发明提供的第一优选技术方案中，所述逻辑日志转化为数据日志并在内存追加记录的过程的步骤如下：

(1)根据逻辑日志查找记录的内存结构；

(2)获取要写入的页号、页内偏移量和页所属的文件号；

(3)从页缓存中获取页并将页引用计数加1；

(4)根据页内剩余空间及本次要追加写入的记录条数将记录拷入页缓存；若页剩余空间不足则将本页放满后分配新页直到将本次写入记录全部放入页缓存；

(5)对新写入的记录生成数据日志，并获取页的引用计数；