[发明专利]海量GNSS小文件云存储方法

说明书

技术领域

本发明涉及“测绘科学与技术”学科中的“大地测量学与测量工程”技术领域，特别是一种海量GNSS小文件云存储方法。

背景技术

随着科学技术的不断发展，全球、国家、区域级连续运行参考站网(CORS，Continuously Operating Reference Station System)的不断建成，全球卫星导航系统(GNSS，Global Navigation Satellite System)被广泛应用在各个领域，特别是整合独立型CORS形成的拥有更多基准站、更高层次的联合型CORS的陆续组网及连续观测，全球卫星导航系统数据量的规模越来越大。

海量的数据给存储和管理带来挑战，大量TB级以上的数据等待处理。以GNSS观测数据为例，连续观测1天、采样率为1秒、仅GPS卫星的数据量就可达80MB，全球有上万个观测站，一天的数据量就可达数十至数百TB；此外，不同于网络日志和遥感影像，GNSS数据种类和格式丰富多样，以GNSS观测文件和解算成果为代表的GNSS数据均属于小文件的范畴。

针对海量GNSS小文件给存储和管理带来的挑战，传统的存储区域网络(SAN，Storage Area Network)和网络附加存储(NAS，Network-Attached Storage)在容量和性能的扩展上存在瓶颈。目前GNSS数据中心采用的文件传输协议(FTP，File Transfer Protocol)和关系数据库在管理海量GNSS数据方面存在诸多限制，集中式存储方法已不能满足大规模GNSS数据存储应用的需要。国内外研究机构和研究人员对海量小文件存储进行了广泛的关注和研究，发表的文献主要包括：国外《Journal of Network and Computer Applications》的《An Optimized Approach for Storing and Accessing Small Files on Cloud Storage》、《Web Information Systems and Mining》的《Metadata-Aware Small Files Storage Architecture on Hadoop》、《Algorithms and Architectures for Parallel Processing》的《Hmfs：Efficient Support of Small Files Processing over HDFS》，国内《西安交通大学学报》的《一种提高云存储中小文件存储效率的方案》、《武汉大学学报·信息科学版》的《一种结合RDBMS和Hadoop的海量小文件存储方法》和《云环境下的时空数据小文件存储策略》。

已有的解决方案都把焦点放在了探讨元数据模型、分析海量小文件之间的相关性、调整系统的结构和用户访问规律等方面，但对数据类型和特点以及对合并后文件索引的放置策略关注较少，不能完全应用于GNSS小文件的管理。面对以小文件为代表的海量GNSS数据的存储需求，利用底层的开源云平台，结合GNSS数据类型和特点，设计海量GNSS小文件云存储方法，成为海量GNSS小文件高效存储、管理、发布和共享的有效途径。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明之目的就是提供一种海量GNSS小文件云存储方法，有效解决海量GNSS小文件高效存储、管理、发布和共享的问题。

本发明解决的技术方案是，针对海量GNSS小文件集中式存储方法的缺陷和瓶颈，基于底层开源云平台(Hadoop)，构建并设计海量GNSS小文件云存储方法，实现海量GNSS小文件的高效云存储，首先将海量GNSS小文件合并为大文件，对合并后的大文件建立索引；并优化索引块存储策略，将切分后的文件块和索引块存储在数据块的节点或离数据块最近的数据节点(DataNode)上，将GNSS数据类型的索引存储在名称节点(NameNode)上，降低存储容量的消耗和名称节点(NameNode)的内存消耗，提高大量小文件写入、访问和删除的性能，具体包括以下步骤：

(1)、将海量GNSS小文件合并为大文件，以降低大量小文件对名称节点(NameNode)内存的占用，小文件合并是首先将同一观测时段或解算时间、同一类型的文件进行合并；其中在对GNSS观测文件的合并时，按测站名四位字母的先后顺序进行合并，在对解算成果文件的合并时，按GNSS分析中心名称三位字母的先后顺序进行合并，将大量GNSS观测文件合并成为一个观测时段连续的观测大文件，将解算成果文件合并成为一个解算时间序列连续的解算成果大文件；