[发明专利]基于云计算的遥感大数据自动化处理方法

说明书

本发明公开了一种基于云计算的遥感大数据自动化处理方法，遥感大数据自动化处理引擎识别输入的遥感大数据处理请求，获知待处理遥感数据存储地址、遥感数据处理流程、资源‑时间映射表、流程所涉及数据处理任务的存储地址和任务调度算法的存储地址；根据获得的算法存储地址从存储单元获取算法，并将流程、资源‑时间映射表作为算法的输入，执行算法，得到任务调度结果；根据获得的调度结果在计算单元中部署计算环境；根据获得的遥感数据和任务的存储地址分别获取遥感数据和任务，并根据获得的任务调度结果在获得的计算环境中执行任务，得到遥感数据的处理结果。本发明遥感能够有效提高云计算平台处理遥感大数据的效率。

技术领域

本发明属于遥感大数据处理领域，具体涉及一种基于云计算的遥感大数据自动化处理方法。

背景技术

遥感图像处理即对遥感图像进行一系列光学处理和数字图像处理以达到预期目的的技术，已被广泛应用于航海、气象、农业和资源等领域。伴随着遥感技术的不断发展，遥感图像分辨率逐步增加，其数据量呈爆炸式增长，这就产生了遥感大数据单机处理困难的问题，为了解决这一问题，越来越多的学者将遥感大数据处理与云计算相结合。

云计算是一种商业计算模型，以云资源管理软件和虚拟化工具为基础，将CPU、存储器和GPU虚拟为方便管理应用的资源池，用户可以根据需求获取存储和计算服务。在网络带宽飞速发展的今天，特别是5G正式商用之后，用户可以利用个人的便携设备控制云端的服务器完成海量数据的处理和计算，从而降低设备的管理成本和维护成本。云计算框架在云平台的基础上可以实现海量数据存储和高效并行计算，在执行计算任务时可以将大量复杂的计算任务分发到众多节点，减少了任务处理时间，有效提高了海量数据的处理效率。

然而，现有基于云计算平台处理遥感数据时，往往采用人工手动方法部署处理流程中的多个任务，费时费力且容易出错；同时，也未用调度算法对流程涉及的多个任务进行调度优化，效率较低。

发明内容

本发明的目的在于提供一种基于云计算的遥感大数据自动化处理方法，利用自主设计的标准化接口，将遥感大数据处理的任务描述为流程，同时，使用任务调度算法对流程涉及的任务进行调度优化，不仅实现了遥感图像的云计算自动化处理，而且有效提高了数据处理效率。

实现本发明目的的技术方案为：一种基于云计算的遥感大数据自动化处理方法，该方法通过处理系统实现，处理系统包括遥感大数据自动化处理引擎、存储单元和计算单元，所述方法包括如下步骤：

步骤1，遥感大数据自动化处理引擎识别输入的遥感大数据处理请求，获知待处理遥感数据存储地址、遥感数据处理流程、资源-时间映射表、遥感数据处理流程所涉及数据处理任务的存储地址和数据处理任务调度算法的存储地址；

步骤2，遥感大数据自动化处理引擎根据步骤1中获得的数据处理任务调度算法存储地址从存储单元获取数据处理任务调度算法，并将遥感数据处理流程、资源-时间映射表作为数据处理任务调度算法的输入，执行数据处理任务调度算法，得到数据处理任务调度结果；

步骤3，遥感大数据自动化处理引擎根据步骤2中获得的调度结果在计算单元中部署计算环境；

步骤4，遥感大数据自动化处理引擎根据步骤1中的遥感数据和数据处理任务的存储地址分别获取遥感数据和数据处理任务，并根据步骤2获得的任务调度结果在步骤3获得的计算环境中执行数据处理任务，得到遥感数据的处理结果。

进一步的，步骤1具体是由客户端提交遥感大数据处理请求，引擎识别请求后获知待处理遥感数据存储地址、遥感数据处理流程、资源-时间映射表RDMT、遥感数据处理流程所涉及任务的存储地址和算法的存储地址并写入标准化接口文件。

进一步的，所述标准化接口文件是通过标准化的方式描述方法各模块的输入输出，由标记语言实现。

进一步的，步骤1所述的遥感数据处理流程是由遥感大数据算法处理中具有偏序关系的任务组合而成。