[发明专利]spark结合tensorflow进行遥感影像信息提取的方法

摘要

本发明公开了一种spark结合tensorflow进行遥感影像信息提取的方法，包括以下步骤：（Ⅰ）构建分布式存储系统，存储元数据信息；（Ⅱ）分布式计算集群与机器学习tensorflow结合；（Ⅲ）直接读取分布式存储系统上的遥感影像数据；（Ⅳ）编写分布式上遥感影像信息提取的机器学习算法；（Ⅴ）使用spark将数据进行分片并读取到内存队列。本发明提供了一种spark结合tensorflow进行遥感影像信息提取的方法，采用分布式存储、分布式计算结合机器学习的技术路线，实现遥感信息快速、批量提取，提高了遥感影像数据提取的处理能力与效率。

主权项

1. 一种spark结合tensorflow进行遥感影像信息提取的方法，其特征在于：包括以下步骤：（Ⅰ）构建分布式存储系统，存储元数据信息构建自主存储海量文件的遥感影像数据的分布式存储系统，采用分布式nosql数据库存储文件的元数据信息；（Ⅱ）分布式计算集群与机器学习tensorflow结合实现分布式计算集群与机器学习tensorflow结合，分布式计算集群负责为tensorflow分配计算资源和数据分片，分布式计算集群根据任务需求在计算节点上创建独立的运行容器，并在该容器上运行tensorflow的worker节点，实现模型算法的计算；（Ⅲ）直接读取分布式存储系统上的遥感影像数据针对开源gdal源码进行修改，增加文件存储标识，并且重载原有读取文件方法，引入hdfs读写方法库，实现对hdfs文件系统上文件读取，然后根据文件存储标识，为0则存储于本地，调用gdal原先文件读取方法，位1则存储于分布式存储系统上，则调用重载的读取文件方法；（Ⅳ）编写分布式上遥感影像信息提取的机器学习算法编写分布式上遥感影像信息提取的机器学习算法，算法处理流程分为模型训练和模型应用；（Ⅴ）使用spark将数据进行分片并读取到内存队列在模型训练时，使用spark将数据进行分片并读取到内存队列中，运行于多个节点上的tensorflow计算任务，从内存队列中读取自己需要处理的数据进行处理，各个节点上读取数据与spark将数据从hdfs读取到内存队列中是同步的。