[发明专利]一种基于大数据技术的空间数据存储处理中间件系统

摘要

本发明涉及一种基于大数据技术的空间数据存储处理中间件系统，该框架能提供给用户一种对现有多源异构的结构化数据与非结构化数据混合的数据内容进行快速获取的方法，并采用主流的大数据存取工具来提高分布式存储效率。本发明的基于大数据技术的空间数据存储处理中间件框架通过对多源异构空间数据进行提取、转换、加载，构建多样化碎片化非结构化数据分布式虚拟化存储框架，为后续的空间大数据分析、挖掘提供能直接读取的数据内容。

主权项

1.一种基于大数据技术的空间数据存储处理中间件系统，其特征在于：其包括以下模块：/n数据源模块101：空间大数据的数据源包括空间数据、互联网数据、日志流数据、本地数据文件、关系数据，上述数据源的数据格式包括GIS数据、文档数据、影像数据，上述数据以分散的方式存储在关系型数据库、空间数据库不同种类的数据库节点中；/nETL工具模块102：ETL工具将分散存储的各种格式的数据源进行提取、转换、加载；/n其中，ETL工具包括实时数据转换工具、自定义数据转换工具、空间数据转换工具三类；/n这三类工具分别将数据源中对应的数据提取出来，转换为统一的能读取的格式；/n关系型数据使用Sqoop工具来进行存取，空间数据使用空间数据转换工具进行存取；/nHDFS分布式文件系统模块103：ETL工具提取并转换的部分数据即文件上载数据将分布式存储在HDFS分布式文件系统中；/nHBase分布式数据库模块104：ETL工具提取并转换的部分数据即空间数据、实时数据将分布式存储在HBase分布式数据库中；/n数据关联RDF图数据库模块105：ETL工具提取转换数据源的数据并存储至分布式数据库的同时，将建立数据索引及语义目录，存储在数据关联图谱RDF里；/nZooKeeper协同服务模块106：协同管理分布式环境下的多个节点的HBaseregionserver的分布；/nAmbari集群节点管理监控模块107：对分布式环境下集群中的节点进行可视化安装和监控。/n