[发明专利]遥感影像云存储方法

摘要

本发明提供一种遥感影像云存储方法，包括下述步骤:步骤S1，拓展GDAL文件访问接口，使GDAL能够读写HDFS上的影像；步骤S2，提供一套本地缓存机制，即建立本地缓存，用于实现GDAL需要随机写的需要。本发明1）实现了GDAL直接修改HDFS中的影像文件；2）在有重复读的情况时，减少了对HDFS的请求次数，提高了文件读取速度。

主权项

1.一种遥感影像云存储方法，其特征在于，包括下述步骤:步骤S1，拓展GDAL文件访问接口，使GDAL能够读写HDFS上的影像；步骤S2，提供一套本地缓存机制，即建立本地缓存，用于实现GDAL需要随机写的需要；步骤S1具体包括：1）实现继承自VSIFilesystemHandler用以访问HDFS的文件系统访问类，调用libhdfs提供的函数，完成VSIFilesystemHandler中定义的文件系统访问接口；2）在VSIFileManager中注册，即在VSIFileManager维护的映射表中加入一个新的键值对，新键值对的键为唯一标识HDFS文件系统访问句柄的字符串，键值为HDFS文件系统访问句柄；步骤S2具体包括：对文件进行分块处理，每次从HDFS上按块读取存入本地缓存；所述本地缓存包括内存缓存和本地文件缓存；采用LRU策略来协调内存缓存与本地文件缓存：1）初始化内存缓存，内存缓存最多缓存N个文件块；2）初始化本地文件缓存，即创建一个本地文件；3）在内存缓存中维护一个LRU排序队列，最近用过的文件块排在LRU队列的队首，越久没有用到的文件块在队列中排得越靠后；4）当内存缓存已满时，从LRU排序队列中进行淘汰，将最久没有使用过的文件块写入本地文件缓存，空出新的缓存载入新的文件块；本地缓存机制的读文件块过程，包括以下步骤：步骤S101，判断文件块是否在本地缓存中，若是则进行步骤S102，否则进行步骤S104；步骤S102，判断文件块在内存缓存中还是在本地文件缓存中，若在本地文件缓存中进行步骤S103，若在内存缓存中进行步骤S109；步骤S103，向本地文件缓存读取该文件块；转步骤S105；步骤S104，向HDFS读取该文件块；步骤S105，判断内存缓存是否有空的内存缓存块；若是转步骤S107，若否进行步骤S106；步骤S106，将LRU队列中最末尾的文件块写入本地文件缓存，空出一个内存缓存块；步骤S107，向该空内存缓存块中载入读取的文件块数据；步骤S108，将经过步骤S107后的该内存缓存块排到LRU队列队首；步骤S109，返回该内存缓存块中的数据；本地缓存机制的写文件块过程，包括以下步骤：步骤S201，判断是否要写整个文件块；若是则进行步骤S209，若否则进行步骤S202；步骤S202，进一步判断文件块是否在本地缓存中，若是则进行步骤S204，若否则进行步骤S203；步骤S203，向HDFS读取该文件块；步骤S204，进一步判断文件块是否在内存缓存中，若是则进行步骤S211，若否则进行步骤S205；步骤S205，向本地文件缓存读取该文件块；步骤S206，判断内存缓存是否有空的内存缓存块；若是转步骤S208，若否进行步骤S207；步骤S207，将LRU队列中最末尾的文件块写入本地文件缓存，空出一个内存缓存块；步骤S208，向该空内存缓存块载入读取的文件块数据；转步骤S211；步骤S209，判断内存缓存是否有空的内存缓存块；若是转步骤S211，若否进行步骤S210；步骤S210，将LRU队列中最末尾的文件块写入本地文件缓存，空出一个内存缓存块；步骤S211，向步骤S209或S210中的空内存缓存块写文件块数据；步骤S212，将经过步骤S211后的该内存缓存块排到LRU队列队首。