[发明专利]一种基于Chord环的多源遥感大数据处理方法及装置

权利要求书

1.一种基于Chord环的多源遥感大数据处理方法，其特征在于，包括以下步骤：

构建基于Chord环的系统架构，所述系统架构由多个子系统构成，每个子系统都有独立的任务提交站点，每个子系统位于一个数据中心；每个子系统有一个对外的接口，并且具备一个路由表来进行查询路由工作；

将从一个数据中心的子系统提交的任务切分然后发送到其他数据中心的子系统进行处理。

2.根据权利要求1所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述将从一个数据中心的子系统提交的任务切分然后发送到其他数据中心的子系统进行处理包括：

某个数据中心的用户通过本数据中心的子系统提交任务，任务包括数据和要计算的指标；

该子系统通过Chord环资源定位方法找到数据位于哪一个数据中心，然后将任务进行切分，将子任务分别发送到位于不同数据中心的子系统；

接收分发任务的子系统通过本地Redis索引查找数据具体位置，然后进行计算。

3.根据权利要求2所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述某个数据中心的用户通过本数据中心的子系统提交任务包括：

用户通过某个数据中心的子系统的网站提交任务，任务通过Ajax传输到后端Servlet；

所述该子系统通过Chord环资源定位方法找到数据位于哪一个数据中心，然后将任务进行切分，将子任务分别发送到位于不同数据中心的子系统包括：

Servlet接收到任务请求，进行处理，判断任务类型，封装成Kafka消息，通过Producer发送到Kafka消息队列中；

Consumer从消息队列中捕获到新发送的Kafka消息后启动处理工作；

Consumer查询本地数据库是否含有所需数据，如果没有，则查询所需数据位于哪一个数据中心；

Consumer对任务进行切分，对子任务进行本地处理或者发送到其他的数据中心进行处理；

所述将从一个数据中心的子系统提交的任务切分然后发送到其他数据中心的子系统进行处理还包括：

启动监听线程Listener，通过三层监听机制监测各个数据中心的计算结果。

4.根据权利要求3所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述Servlet接收到任务请求，进行处理，判断任务类型包括：

对每个子系统提交的任务进行解析，分析任务所涉及的计算任务和数据；查询数据库，确认分布在哪些数据中心；然后将这些数据划分成子数据块，子数据块和计算任务绑定构成子任务，分发到不同的子系统进行计算。

5.根据权利要求4所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述分发到不同的子系统进行计算包括：

子系统计算子任务通过HTTP协议发送到其他的数据中心；基于HTTP协议的子任务分发的具体过程包括：创建URL对象；创建url连接，设置连接属性；构建输出缓冲流；构建PrintWriter对象；刷新输出并关闭连接。

6.根据权利要求1所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述方法包括：节点的更新；所述节点的更新包括：新数据中心的加入和数据中心的退出。

7.根据权利要求6所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述新数据中心的加入包括：

在该数据中心构建一个DHPS子系统，然后将子系统作为一个节点加入到DHPS中，子系统的加入需要一个称为向导的已知子系统的协助，任何一个运行在Chord环中的子系统都可以充当这个角色；加入过程包括新子系统本身的Join操作和被其他子系统发现两个阶段。

8.根据权利要求6所述的基于Chord环的多源遥感大数据处理方法，其特征在于，所述数据中心的退出包括：

数据中心的退出不需要通知其他数据中心，数据中心子系统退出Chord环时，周期性对Chord节点的前继和后继进行探测。