[发明专利]基于大数据遥感影像缓存方法

说明书

本发明公开了一种基于大数据遥感影像缓存方法，该方法包括以下步骤：分布式缓存应用于海量数据存储，支持集群自动化数据分片，进行集群节点移除缓存或添加缓存；容错机制，创建数据集之间的依赖关系，根据依赖关系中的数据集节点接收到其他节点发送的信息时标注失效的节点，普通数据流处理方式，将读取的数据集发送到各个子节点中的共享内存中，共享内存中的数据存放硬盘，读取硬盘中的数据进行分割后任务分发；排序数据流处理方式,将数据集读入工作节点的内存中，工作节点执行进程将内存中的数据进行排序分配给划分好的缓存中；聚合数据输出流处理，获取普通数据流，控制句柄执行写操作，写操作创建磁盘分区后，将分区文件进行合并。

技术领域

本发明涉及遥感影像大数据读取技术领域，具体来说，涉及一种基于大数据遥感影像缓存方法。

背景技术

遥感影像数据具有单体数据量大，为了应对这一问题目前采取的存储方式是服务阵列模式，将影像数据直接存储在硬盘上，由于受限于网络和磁盘读写的速度，造成后续数据处理以及处理完的成果数据上传至服务器需要花费大量的时间，造成极大的时间成本浪费，而且随着影像数据量的增长，给数据维护造成一定的困扰。

随着近年来技术的发展，出现了分布式应用程序，比如hadoop等框架，可将影像利用分布式数据集轻松的将影像数据存储在数据服务器，同时读取速度有很大的提高，但是由于hadoop等框架的核心存储管理还是将数据存储在硬盘上，受限于硬盘的读写速度。

因此，数据集是应用程序的基础,数据集设计的是否合理，直接影响到系统的成本开销，从而影响数据读取的效率，现有的各种数据集不适合直接应用于存储影像大数据，所以从基础设计显得尤为重要。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于大数据遥感影像缓存方法，能够利用服务器内存资源，将影像大数据划分成多个片段，并读取到内存中，从而大大减少读取等待时间以及上传数据的等待时间,极大提高工作效率。

为实现上述技术目的，本发明的技术方案是这样实现的：一种基于大数据遥感影像缓存方法，该方法包括以下步骤：

S1 分布式缓存应用于海量数据存储，支持集群自动化数据分片，运用哈希算法，进行集群节点移除缓存或添加缓存，运行缓存过程中不改变已存在数据库键值正确节点映射关系及数据一致性；

S2 容错机制，创建数据集之间的依赖关系，根据依赖关系中的数据集节点接收到其他节点发送的信息时标注失效的节点，并广播到整个集群，某个子节点被标注后，其他从节点自行进行复制，生成新的节点并存储，每个新节点存储中包含多个任务，每个任务被分发给各个工作节点并执行；

S3 普通数据流处理方式，将读取的数据集发送到各个子节点中的共享内存中，共享内存中的数据存放硬盘，读取硬盘中的数据进行分割后任务分发；

S4 排序数据流处理方式,将数据集读入工作节点的内存中，工作节点执行进程将内存中的数据进行排序分配给划分好的缓存中，并进行阀值判断，若大于阀值，则将缓存写入磁盘中，并建立索引文件，进行文件合并，以及读取索引文件中的索引数据，进行序列化输出至磁盘；

S5聚合数据输出流处理，获取普通数据流，控制句柄执行写操作，写操作创建磁盘分区后，将分区文件进行合并，同时创建索引文件和磁盘数据文件，若不进行混合操作，则将数据存放于内存中。

进一步地，所述S1中移除缓存或添加缓存进一步包含：

S1.1 基于缓存B失效,沿缓存B逆时针遍历直到下一个缓存C之间的对象，即得到映射到缓存B的对象，变动缓存B的对象，将其重新映射到缓存C；

S1.2在环形哈希空间中，创建添加缓存D，缓存D被映射到对象2和对象3之间，沿缓存D逆时针遍历直到下一个缓存B之间的对象，将该对象重新映射到缓存D上。

进一步地，所述S2中依赖关系的存储运行进一步包含：

S2.1创建不同数据集的依赖关系，通过数据集父子依赖关系重新计算，得到丢失的分区容错率；