[发明专利]一种海量教育文件关联存储方法

说明书

本发明公开了一种海量教育文件关联存储方法，包括四个部分，分别是海量教育文件的归并、海量教育文件关联方法中局部索引确定、海量教育文件的缓存与预取和海量教育文件碎片的整理。本发明包括针对数量大、关联多、类型广的教育资源小文件的存储步骤，可有效提升存储空间的利用率，方便易用且成本更低，对海量教育文件的关联存储领域具有充分性、必要性和高效性，可广泛应用于海量小文件存储领域。

技术领域

本发明涉及海量数据，教育文件，索引机制，关联关系，小文件存储领域，特别涉及一种海量教育文件关联存储方法。

背景技术

HDFS(hadoop distributed file system)是一个具有高容错性、成本低廉性等特点的分布式文件系统。HDFS是为处理海量大文件而设计的，在处理海量小文件时存在以下几点问题：海量小文件耗费主节点内存，可能造成NAMEDODE 瓶颈问题；海量小文件的I/O效率低，没有一种优化机制来提高I/O性能；HDFS 下没有明确的能够区分何为小文件的分界点；没有考虑海量小文件之间的相关性等。教育资源小文件包括各种形式的教育资源，如word文档、pdf文档、ppt 课件及文本资料等，只要与教育资源相关且大小远小于64MB的文件都可称为教育资源小文件。教育资源小文件具有以下特点：这些文件的大小通常为几十到几百KB，存储引擎不能高效的存储大量的小文件；小文件之间有关联性，整理归档同类课程的小文件然后进行合并；小文件的数量很多，因为网络中存在的各种学习资源量非常大，且不断地以指数级的速度增长。

申请人检索出以下与海量教育文件关联存储相关的文献如下：

1.欧阳涛，Hadoop分布式文件系统及其存储优化方法，专利，2015

2.李雪莲，李强等，分布式文件系统及其存储海量小文件的方法，专利， 2015

3.郑庆华，董博等，一种基于Hadoop的海量可归类小文件关联存储方法，专利，2011

文献1提出一种Hadoop分布式文件系统及其存储优化方法。基本思想是先对文件进行判断是是否为小文件，然后进行优化处理，没有充分考虑文件中的关联性，并利用关联性进行存储。

文献2提出了一种分布式文件系统及其存储海量小文件的方法，以解决目前的海量小文件存储的效率较低的问题。这种方法提出了如何有效地将小文件合并成小文件来存储，但是没有考虑到存储之后的碎片与缓存问题。

文献3提出了一种基于Hadoop的海量可归类小文件关联存储方法，主要解决可归类小文件的存取效率问题。其基本思想是将同一类别文件的小文件聚合成一个文件，然后对每一个小文件建立存放在NameNode内存中的全局索引。这种方法只考虑了将小文件归并和对小文件建立索引，没有考虑到文件合并之后的碎片问题，而且没有对合并之后文件的存取操作进行详细说明。

发明内容

针对背景技术文献的方法中所存在的缺陷和不足，本发明的目的是提供一种关联存储方法用于解决海量教育文件的存储问题。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种海量教育文件关联存储方法，其特征在于，包含如下步骤：

(1)海量教育文件的归并；

Step1：将属于某个大文件的所有小文件归并为一个文件，称为merged file；

Step2：对每个merged file建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；

Step3：在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。

(2)海量教育文件中的局部索引；