[发明专利]一种基于Chord环的多源遥感大数据处理方法及装置

说明书

本发明涉及遥感大数据领域，具体涉及一种基于Chord环的多源遥感大数据处理方法及装置。该方法及装置中，每个数据中心作为Chord环的一个节点，有一个对外的接口，并且具备一个路由表来进行查询路由工作。每个数据中心都具有一定的独立性，拥有自己独立的任务提交站点，同时可以访问其他数据中心的数据。多个数据中心在逻辑上构成一个Chord环。本发明具有良好的横向拓展能力，在实现数据共享的同时彻底解决了遥感数据的迁移问题，并且实现遥感数据的计算共享。

技术领域

本发明涉及遥感大数据领域，具体而言，涉及一种基于Chord环的多源遥感大数据处理方法及装置。

背景技术

随着计算机、数字传感器、网络通信技术、航空卫星等技术的飞速发展，人类已经进入大数据时代，大数据为人类工业生产决策、变革商业模式提供了有利支撑。遥感是大数据最主要的来源之一，农情遥感大数据对农田监控、灌溉计划、灾害预警等农业生产活动具有重要指示作用，但是农情遥感大数据特殊的数据格式、庞大的数据量给其应用带来了挑战。目前国内外众多研究机构一直致力于农情遥感大数据的存储、计算、归档、传播等各个方面的研究，提出了各种农情遥感大数据的处理方案。

主要包括：s1:基于多核处理器的遥感大数据处理方案，多核处理器可以同时在不同的内核上运行多条指令，从而提高了并行计算程序的总体速度。目前几乎所有个人电脑使用的微处理器都是多核的，Intel i7+四核+八线程配置的电脑越来越普遍，一些服务器甚至达到八核、十六核。多核处理器大大提高ENVI等传统遥感桌面软件的处理效率，并且实验研究条件容易获取。S2:基于网格计算的遥感数据处理系统，网格计算是一种重要的工具，用于聚集和合并分布在世界各地、通过网络连接的异构资源组由于负载平衡在分布式环境中是一个具有挑战性的任务，网格计算提供了一个非常适合、低成本且一致的体系结构。S3:基于Hadoop MapReduce的遥感图像处理系统，Hadoop MapReduce是一个流行的大数据处理框架，已经成为业界和学术界事实上的标准，可以通过有效的大数据管理和分布式并行处理为用户提供集成的快速的遥感图像处理服务。S4：基于GPU的遥感图像处理系统，当前针对遥感大数据的并行计算平台通常基于CUDA编程模型。得益于GPU+CUDA的高效性和可编程性，目前该技术已经被成功地应用到遥感应用领域，例如遥感影像融合、云跟踪和重建、色彩平衡。S5：基于Master-Slave架构的遥感图像处理系统，目前已知的最早的也是唯一的面向多源遥感数据的遥感大数据处理架构是Cloud RS，在改善了遥感大数据存储和计算的问题上，避免了遥感大数据的传输。

基于不同的数据规模、不同的应用和不同的研究目的，不同的研究机构或公司采用的农情遥感大数据处理手段不同，但是基本都基于上面所提到的几种方案。但是这些方案都存在一定的缺陷，包括：S1：基于多核处理器的技术，受限于计算机内存，基于多核处理器的高性能计算在面对海量遥感数据时的计算和存储仍然捉襟见肘。S2：基于网格计算的遥感数据处理系统，稳定性和可靠性依赖于第三方工具，没有考虑到数据传输的问题，单纯从提高计算能力的角度解决问题，而且由于网格资源的动态性，有时任务无法在给定的约束(截止日期、成本)内完成。S3：基于Hadoop MapReduce的遥感图像处理系统，例如AgrCloud，没有解决数据的多源问题，而且在计算速度上还可以进一步提升，Hadoop只适合批处理。S4：基于GPU的遥感图像处理系统，目前已经提出的基于GPU的遥感图像处理系统没有提及面对海量遥感数据时候该结构的应对策略和存储方式，当然更没有考虑到遥感数据的获取以及多数据源的问题。

发明内容

本发明实施例提供了一种基于Chord环的多源遥感大数据处理方法及装置，以至少解决现有处理方法对遥感数据迁移难的技术问题。

根据本发明的一实施例，提供了一种基于Chord环的多源遥感大数据处理方法，包括以下步骤：

构建基于Chord环的系统架构，系统架构由多个子系统构成，每个子系统都有独立的任务提交站点，每个子系统位于一个数据中心；每个子系统有一个对外的接口，并且具备一个路由表来进行查询路由工作；