[发明专利]一种分布式卫星数据中心多源遥感数据处理方法

摘要

本发明公开了一种分布式卫星数据中心多源遥感数据处理方法，包括步骤1：分布式卫星数据中心数据处理；步骤2：分布式卫星数据中心向主数据中心数据汇聚；步骤3：主数据中心的数据摄取；还包括多源遥感元数据格式转换；本发明的有益效果：本发明一种分布式卫星数据中心多源遥感数据处理方法通过分布式卫星数据中心多源遥感数据集成技术，可以有效的针对分布式卫星数据中心异构系统中的多源数据，在遥感大数据的背景下，进行有效的集成和管理。

主权项

1.一种分布式卫星数据中心多源遥感数据处理方法，其特征在于，包括以下步骤：步骤1：分布式卫星数据中心数据处理：在各个卫星数据中心构建数据集成处理中间件，其中：所述中间件包括爬虫组件、数据处理支撑系统和网络服务；数据中心的数据分发器将新增的卫星数据分发至数据暂存区；通过主或被动启动器向中间件的爬虫组件发出处理请求；爬虫组件在预处理检查过程中，首先将对比数据暂存区和开放数据服务器中的文件目录并通过预设的目标文件类型集对数据暂存区新增数据文件进行类型检查和过滤，增量的对新增数据进行处理；在数据处理过程中，爬虫组件会调用数据处理支撑系统中已定义的针对不同卫星数据中心数据格式的自定义处理流程，调用Apache Tika或其他自定义工具集提取或生产遥感影像缩略图、遥感元数据，并将提取出的缩略图文件、元数据存放在卫星数据中心开放服务器中；步骤2：分布式卫星数据中心向主数据中心数据汇聚：主数据中心的“推拉”组件将周期性地启动后台进程，并根据各个分布式卫星数据中心开放服务器的对外网络接口，调用不同的数据传输协议向各个卫星数据中心发起远程爬虫任务请求，同时由主中心后台进程管理组件进行多数据中心远程爬虫任务管理与调度；其中：远程爬虫任务启动规则为“先来先服务”队列顺序，且在同一时间内只有一个远程爬虫任务被允许执行；在主数据中心通过拉取分数据中心数据的过程中，“推拉”组件会与文件管理器通信，通过MD5文件校验比较主中心是否已经归档该遥感影像元数据及缩略图数据；其中：当主中心数据归档容器中已经存在该遥感影像缩略图信息，则进入下一影像文件的比较过程；当不存在，则进入实际数据下载和传输过程，元数据文件和遥感影像缩略图由“推拉”组件传输到主数据中心摄取暂存区中，等待主中心数据摄取；步骤3：主数据中心的数据摄取：数据摄取过程首先进行预摄取检查，通过预设的元数据文件类型集对数据摄取暂存区新增数据文件进行类型检查和过滤，并根据自定义的元数据映射规则适配多源异构元数据文件类型进行数据摄取；此外，为防止已归档数据的重复摄取，爬虫管理器仍旧通过与文件管理器组件通信，通过MD5文件校验是否已经归档，若未归档则将遥感影像缩略图文件归档进影像归档容器中，并由SolrCloud集群建立全文索引并分片存储，实现元数据的分布式分片索引。