[发明专利]一种基于算法分类的多源遥感卫星数据并行处理系统及方法

摘要

一种基于算法分类的多源遥感卫星数据并行处理系统及方法，支持新算法注册，对所注册的算法进行储存和管理；根据任务的需要，从算法注册模块中选取一个或多个算法，将需要处理的遥感卫星数据和选取的算法推送到并行处理节点进行处理；多个并行处理节点同时根据各个节点接收的算法，按照执行顺序，对需要处理的遥感卫星数据并行计算；对送至各并行处理节点算法的执行情况进行监控；对各个并行处理节点得到的处理结果进行归档存储。本方案支持各类遥感算法与多源遥感数据，能够在分布式集群上同时响应和执行多源遥感数据处理请求，解决多源遥感卫星数据多算法综合处理、并行计算和分布存储的问题，达到多源遥感卫星数据并行处理的效果。

主权项

1.一种基于算法分类的多源遥感卫星数据并行处理系统，实现匹配海量的卫星数据、复杂的卫星数据处理算法，提供卫星数据高性能快速并行计算的能力，其特征在于：包括算法注册模块、算法推送模块、并行处理模块、任务监控模块、数据归档模块；算法注册模块，支持新算法注册，对所注册的算法进行储存和管理，所述算法执行所需的所有参数在算法执行前确定；所述新算法主要执行过程应不包含人机交互；对于复杂的卫星数据处理算法，根据预先设定的策略，分解为一个或多个有一定触发机制的系列子算法，每一个子算法可以描述为并行计算的基本形式——映射(Map)和化简(Reduce)；针对不同的算法类型，可以有以下的分解设定策略：(1)单景独立处理类算法：同样的算法作为子算法多次调用，以算法具体约束为触发机制，分配到集群中的不同节点执行；算法执行结果由多次调用结果汇集归档；(2)多景多时相综合处理类算法：将算法分解为多个包含映射化简循环的子算法，依据就近原则和节点负载，选择数据迁移较少和负载较轻的节点，按照算法具体约束在多个节点同时执行所有子算法，最后将整个算法作为映射化简循环得到算法执行结果进行归档；(3)半自动交互式算法：根据算法具体特征，抽象出算法中适用于并行处理的部分，将此部分再次作为独立算法参考单景独立处理类算法或多景多时相综合处理类算法策略进行并行处理；需要交互的部分通过虚拟化的方式独立运行；算法推送模块，根据任务的需要，从算法注册模块中选取需要的一个或多个算法，当有多个算法时，能够对多个算法的执行顺序进行排列，按照需要处理的遥感卫星数据到达每个并行处理节点的迁移量，将多个并行处理节点进行排列，根据任务需要的并行处理节点的数量，选择使遥感卫星数据迁移量最小的几个节点，若这些节点具有满足按照选定的算法进行数据处理的资源,则将需要处理的遥感卫星数据和选取的算法送至这些节点；若选择的使遥感卫星数据迁移量最小的几个节点中有节点不具有按照选定的算法进行数据处理的资源，则顺延选取迁移量最小的这几个节点以外的具有按照选定的算法进行数据处理的所需资源的节点，以替换不具有按照选定的算法进行数据处理的所需资源的节点，将需要处理的遥感卫星数据和选取的算法送至这些节点；并行处理模块中的多个并行处理节点同时根据各个节点接收的算法，按照执行顺序，对需要处理的遥感卫星数据并行计算，多个并行处理节点得到多个计算结果并储存，多个并行处理节点能够根据任务的需要，再次将多个计算结果重复计算使用；并行处理模块，包括模型组件、数据访问组件、基础服务组件、业务服务组件、资源组件；首先，模型组件将平台提供的数据和算法转化为数据模型和算法模型，由数据访问组件通过对这些模型进行操作，实现对相应资源的访问；同时，基础服务组件使用持久化框架、IOC容器等技术实现对分布式文件系统、并行处理集群和流程调度方案的管理；业务服务组件利用上述资源实现各种服务于平行处理业务的服务，其中，业务服务组件具有业务管理功能实现对数据和算法所在集群节点位置的动态感知并依此信息对处理算法的执行节点进行动态分派，算法推送功能执行将算法迁移到节点的具体操作，任务管理功能能够查询正在执行的算法信息并获得其执行状态，业务服务组件具有任务调度功能负责启动具体的算法执行任务；接着，工作流组件使用业务服务组件提供的流程调度相关服务，启动并行处理流程；最后，由资源组件通过调用工作流组件处理流程相关的操作，对其他模块发布并行处理服务；任务监控模块，对送至各并行处理节点的一个或多个算法的执行情况进行监控，当任务需要执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行的下一个算法进行数据处理，直至任务需要执行的所有算法结束；数据归档模块，对各个并行处理节点得到的处理结果进行归档存储，能够建立处理结果与处理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关系，能够调取需要的处理结果；并行处理节点为多个，将所述处理结果拆分成多个64MB的原文件块，并将该多个64MB的文件块复制得到复制文件块，将原文件块和复制文件块均匀存储在所有并行处理节点中，且复制文件块和原文件块不在同一并行处理节点内；在将遥感卫星数据处理算法推送到不同的处理节点进行处理前，还包括：判断前述遥感卫星数据处理算法所需数据文件存储位置，并选择数据迁移量最小的节点，将算法向前述数据迁移量最小的节点迁移；卫星数据并行处理模块中：对生产任务的并行执行流程进行管理和监控，通过监控计算节点的资源状况和历史执行记录为并行处理策略提供依据；卫星数据并行处理模块中：生产任务的结果采用分布式方法存储在所有节点中；分布式存储方法，还包括：生产任务的处理结果归档存储的同时，按照预设的规则建立元数据和数据的索引；算法注册模块，还包括：标准的算法接口规范，对于符合接口规范的新算法，能够动态地纳入并行处理流程中参与所述遥感卫星数据处理算法的执行。