[发明专利]一种遥感数据处理方法、系统、电子设备和介质在审
申请号: | 201910037675.6 | 申请日: | 2019-01-15 |
公开(公告)号: | CN109871269A | 公开(公告)日: | 2019-06-11 |
发明(设计)人: | 白鹤峰;毛秀华;胡玉新;温双燕;林精敦;关耀文;李建忠;洪海昆;李倩倩;余伟;张凯 | 申请(专利权)人: | 中国人民解放军63921部队;中国科学院电子学研究所 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 周天宇 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算节点 遥感数据处理 数据总线 数据处理 电子设备 原始码流 环节 数据处理结果 数据处理流程 高速网络 数据传递 数据驱动 数据通过 自动发起 时效性 传递 构建 流式 遥感 调度 保证 | ||
1.一种遥感数据处理方法,其特征在于,所述方法包括:
步骤101:构建N个计算节点,所述N个计算节点之间通过高速网络连接,通过数据总线实现数据传递,其中,N≥1;
步骤102:获取待处理的一轨遥感原始码流数据,按照数据处理流程,不同环节的处理任务在不同的计算节点上同时被调度,至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理,同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理,直至完成遥感数据处理任务。
2.根据权利要求1所述的方法,其特征在于,所述步骤102包括:
步骤1021,对所述N个计算节点进行分组,至少得到数据接入计算节点组、解压缩计算节点组、分景编目计算节点组及产品生产计算节点组,其中,每个计算节点组至少包括一个计算节点;
步骤1022,检测到一轨新的原始码流数据时,所述至少一个数据接入计算节点组将所述原始码流数据进行帧同步处理得到帧数据,同时将所述帧数据通过数据总线传递至所述解压缩计算节点组;
步骤1023,所述至少一个解压缩计算节点组将所述帧数据进行解压缩处理,同时将解压缩处理后的格式化数据通过数据总线传递至所述分景编目计算节点组;
步骤1024,所述至少一个分景编目计算节点组对解压缩处理后的格式化数据进行分景,得到分景数据,当数据够一景时,在至少一个产品生产计算节点组上启动产品生产软件,将所述分景数据通过数据总线传递至产品生产计算节点组;
步骤1025,所述产品生产计算节点组根据所述分景数据,生成遥感影像和元数据;
步骤1026,将所述遥感影像和元数据存储在高速缓存设备中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据遥感数据处理任务对所述N个计算节点进行调度和监控。
4.根据权利要求3所述的方法,其特征在于,所述对所述N个计算节点进行调度,包括:
获取新的处理任务,依据任务类型获取其所属的计算节点组;判断所述计算节点组是否有满足处理任务需求的空闲计算节点,若是,获取至少一个所述空闲计算节点,对数据进行处理。
5.根据权利要求3所述的方法,其特征在于,所述对所述N个计算节点进行调度,还包括:
对所述计算节点处理任务的数据处理时间进行预估,判断所述数据处理时间是否超过预设数值,若是,所述计算节点任务执行失败;判断同组计算节点内是否存在满足处理任务需求的空闲计算节点,若是,获取至少一个所述空闲计算节点,将任务调度到所述空闲计算节点上,对数据进行处理。
6.根据权利要求3所述的方法,其特征在于,所述对所述N个计算节点进行监控,包括:
监听N个计算节点是否存活,若否,将该计算节点从所属计算节点组中删除,并重启死亡的计算节点,判断所述计算节点是否重启成功,若否,则发出报警信息,提示系统故障,若是,将所述计算节点重新添加到所属组内,并对其分配处理任务。
7.根据权利要求3所述的方法,其特征在于,所述对所述N个计算节点进行监控,还包括:
当重启死亡的计算节点后,所述计算节点仍无法进行数据处理,将所述计算节点中待处理的任务均衡调度至组内其余计算节点进行数据处理,并将该计算节点从所属组中删除,同时,发出报警信息,提示系统故障。
8.一种遥感数据处理系统,其特征在于,所述系统包括:
构建模块,用于构建N个计算节点,所述N个计算节点之间通过高速网络连接,通过数据总线实现数据传递,其中,N≥1;
处理模块,获取待处理的一轨遥感原始码流数据,按照数据处理流程,不同环节的处理任务在不同的计算节点上同时被调度,至少一个计算节点根据所述处理任务对所述原始码流数据进行数据处理,同时将已处理完成得到的数据通过所述数据总线传递至下一个环节的处理任务所在的计算节点进行数据处理,直至完成遥感数据处理任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军63921部队;中国科学院电子学研究所,未经中国人民解放军63921部队;中国科学院电子学研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910037675.6/1.html,转载请声明来源钻瓜专利网。