[发明专利]基于大数据遥感影像缓存方法

权利要求书

1.一种基于大数据遥感影像缓存方法，其特征在于，该方法包括以下步骤：

S1 分布式缓存应用于海量数据存储，支持集群自动化数据分片，运用哈希算法，进行集群节点移除缓存或添加缓存，运行缓存过程中不改变已存在数据库键值正确节点映射关系及数据一致性；

S2 容错机制，创建数据集之间的依赖关系，根据依赖关系中的数据集节点接收到其他节点发送的信息时标注失效的节点，并广播到整个集群，某个子节点被标注后，其他从节点自行进行复制，生成新的节点并存储，每个新节点存储中包含多个任务，每个任务被分发给各个工作节点并执行；

S3 普通数据流处理方式，将读取的数据集发送到各个子节点中的共享内存中，共享内存中的数据存放硬盘，读取硬盘中的数据进行分割后任务分发；

S4 排序数据流处理方式,将数据集读入工作节点的内存中，工作节点执行进程将内存中的数据进行排序分配给划分好的缓存中，并进行阀值判断，若大于阀值，则将缓存写入磁盘中，并建立索引文件，进行文件合并，以及读取索引文件中的索引数据，进行序列化输出至磁盘；

S5聚合数据输出流处理，获取普通数据流，控制句柄执行写操作，写操作创建磁盘分区后，将分区文件进行合并，同时创建索引文件和磁盘数据文件，若不进行混合操作，则将数据存放于内存中。

2.根据权利要求1所述的基于大数据遥感影像缓存方法，其特征在于，所述S1中移除缓存或添加缓存进一步包含：

S1.1 基于缓存B失效,沿缓存B逆时针遍历直到下一个缓存C之间的对象，即得到映射到缓存B的对象，变动缓存B的对象，将其重新映射到缓存C；

S1.2在环形哈希空间中，创建添加缓存D，缓存D被映射到对象2和对象3之间，沿缓存D逆时针遍历直到下一个缓存B之间的对象，将该对象重新映射到缓存D上。

3.根据权利要求1所述的基于大数据遥感影像缓存方法，其特征在于，所述S2中依赖关系的存储运行进一步包含：

S2.1创建不同数据集的依赖关系，通过数据集父子依赖关系重新计算，得到丢失的分区容错率；

S2.2依赖关系的重新计算过程在不同节点中进行，并且依赖关系需要记录并存储粗粒度的转换，不需要记录数据和各种细粒度操作的日志。

4.根据权利要求3所述的基于大数据遥感影像缓存方法，其特征在于，所述S2.1中依赖关系包含：单一依赖方式和复合依赖方式；

S2.1.1单一依赖方式是基于多个父数据集的某一分区的所有键值，落在子数据集的同一个分区内；

S2.1.2 复合依赖方式是一个父数据集的一个分区对应一个子数据集的多个分区。

5.根据权利要求1所述的基于大数据遥感影像缓存方法，其特征在于，所述S3中子节点进一步包含：

S3.1 在子节点建立共享内存，存储分配的数据，若分配的数据大于开辟的内存空间时，将共享内存区中的数据以临时文件的方式存放到硬盘；

S3.2硬盘大量的磁盘读写任务完成后,对磁盘中存放的数据与共享内存中的数据进行合并。

6.根据权利要求1所述的基于大数据遥感影像缓存方法，其特征在于，所述S4排序的数据流处理方式进一步包含：

S4.1 根据不同的算子，将数据写入不同的数据结构，若选用Map数据结构，则通过Map进行聚合，并写入内存，若选用普通join算子，则选用Array数据结构，直接写入内存；

S4.2 每写一条数据进入内存数据结构之后，进行判断，是否达到了某个临界阈值，若达到临界阈值，则将内存数据结构中的数据溢写到磁盘，并清空内存数据结构；

S4.3 根据关键字对内存数据结构中已有的数据进行排序，分批将数据写入磁盘文件，其中，分批数量为一万条

S4.4任务将所有数据写入内存数据结构的过程中,会产生多个临时文件，将临时文件进行合并后读取，依次写入磁盘文件中；

S4.5 基于上述磁盘文件数量的合并获得到带排序的数据流。