[发明专利]云存储日志文件系统中垃圾数据回收方法

说明书

本发明公开了一种云存储日志文件系统中垃圾数据回收方法，用于解决现有垃圾数据回收方法存储空间利用率差的技术问题。技术方案是首先进行垃圾数据判断，并在文件系统更新时创建一个新的日志，日志中的索引节点包含三级索引结构，每个文件都对应一个索引节点，三级索引结构存放数据块的索引地址，查找垃圾数据以最新的日志为基准，从最早的日志开始依次对比日志中的索引地址，云存储日志文件系统把数据存储在日志中，把日志又存储在段存储文件中，当段存储文件的垃圾数据量大于阈值时进行垃圾数据回收。本发明利用手动或自动垃圾数据回收，支持手动配置段文件回收阈值，随时回收垃圾数据所占用的存储空间，提高了存储空间的利用率。

技术领域

本发明涉及一种垃圾数据回收方法，特别涉及一种云存储日志文件系统中垃圾数据回收方法。

背景技术

随着互联网大数据的日益增长，各大互联网巨头推出了各自的存储系统，这些存储系统也成为了行业标准。Google设计与实现了Google File System(GFS)和键值存储系统LevelDB,Amazon设计与实现了Simple Storage System(S3)和键值存储系统Dynamo，Yahoo！设计与实现了PNUTS，Facebook设计与实现了Cassandra等等。这些存储系统大部分是不开源的，因此开源组织也针对其公布的论文设计与实现了开源版存储系统，例如Apache基金会设计与实现了GFS开源版Hadoop Distributed File System。这些存储系统是针对互联网业务的特性而设计的，比如需要具备高可用性，可扩展性，容错性等等，但是大部分都没有考虑设计与实现垃圾数据回收子系统，这主要是互联网公司对用户数据的依赖性，用户的任何数据都具有价值，即使用户删除，其系统也不会自动删除，而是保存这些数据。但是，有些应用场景如果不及时删除用户的垃圾数据，存储空间很快就不够用了，例如，嵌入式系统，云存储时代大数据暴增等等。同时，还有很多公司设计了专门的垃圾数据回收方法，但是并没有公开他们的技术方法，例如，微软的内存垃圾数据回收以及磁盘垃圾数据回收方法。Sheepdog是日本NTT公司设计与实现的一款基于QEMU/KVM虚拟机的分布式块存储系统，Sheepdog存储系统中包含了垃圾数据回收子系统，其采用GenerationalReference Counting(GRC)算法进行垃圾回收。GRC算法由Goldberg和Benjamin于1989年发表在了ACM SIGPLAN Notices期刊的第7期第24卷313到321页，这种垃圾回收方法需要消耗额外的存储空间，而且这种垃圾回收方法是针对整个镜像文件，力度较大，灵活度低。

发明内容

为了克服现有垃圾数据回收方法存储空间利用率差的不足，本发明提供一种云存储日志文件系统中垃圾数据回收方法。该方法首先进行垃圾数据判断，并在文件系统更新时创建一个新的日志，日志中包含日志头、数据块、索引数据块、索引节点以及索引节点映射。其中，索引节点包含三级索引结构，每个文件都对应一个索引节点，三级索引结构存放数据块的索引地址，查找垃圾数据以最新的日志为基准，从最早的日志开始依次对比日志中的索引地址，若旧日志的索引地址和最新的日志中的索引地址相同则日志中包含的数据不是的垃圾数据，若不相同则说明该数据是垃圾数据。垃圾数据量达到一定的阀值时进行垃圾数据回收操作。云存储日志文件系统把数据存储在日志中，把日志又存储在段存储文件中，只有当段存储文件的垃圾数据量大于阀值时才进行垃圾数据回收，先把要删除的段存储文件中的有效数据拷贝到新的段存储文件，然后再删除段存储文件。垃圾数据回收通过两种方式实现，一种是用户手动垃圾数据回收，需要用户指定一个段文件，然后系统进行回收，另外一种是系统中自动垃圾数据回收，第一种的好处是用户可以设置垃圾数据阀值，这样使垃圾数据回收更加灵活，也可以节省更多存储空间，提高了存储空间的利用率。

本发明解决其技术问题所采用的技术方案是：一种云存储日志文件系统中垃圾数据回收方法，其特点是包括以下步骤：