[发明专利]一种云环境下的分布式空间大数据管理方法

权利要求书

1.一种云环境下的分布式空间大数据管理方法，其特征在于，包括以下步骤：

步骤1）、建立IT基础设施层：以VDC服务和计算服务为基础设施，以Hadoop+Spark为空间大数据框架，以云盘、对象存储、块存储方式为主的云存储，对云环境下的以非结构化数据为主的空间大数据进行分布式快速的存储和计算；

步骤2）、建立空间大数据的资源层：包括空间大数据的来源和分类及空间大数据的管理两方面，所述空间大数据包括来源于国土、农业、交通行业的专题图，地理国情数据、档案资料数据，自然资源数据、人口与经济的政务数据，影像数据，以及通过互联网与社交媒体获取的其他数据，并将以上数据依次进行分类管理；空间大数据的管理流程为：采集、预处理、存储、分析、可视化；所述采集的方式包括移动端和PC端的在线提交及离线拷贝；

步骤3）、建立空间大数据的服务层：针对矢量大数据采用基于空间数据仓库、分布式列数据库、非结构化散列文件、ArcSDE并行抽取与分析的ArcGIS大数据方案和基于GeoAnalytics的地理大数据一体化方案；针对影像大数据采用基于ArcGIS镶嵌数据集的影像大数据解决方案；针对实时大数据采用基于GeoEvent的实时大数据快速处理与分析方案；并提供多终端的访问接口；

步骤4）、建立空间大数据的应用层：将空间大数据通过包括有线和无线传输的连接方式，提供给国土、测绘、交通、环保、水利、农业等政府机构与农业保险、地信行业、电信行业等企业使用。

2.根据权利要求1所述的云环境下的分布式空间大数据管理方法，其特征在于：所述步骤1）中的IT基础设施层，为物理层或云环境，该层部署于私有云或政务云上，提供一种在云环境中，依赖搭建好的大数据框架，在云端进行相关数据的存储与计算的功能；其中存储方式包括云存储、块存储、对象存储，计算依赖VDC服务或计算服务等基础设施，大数据框架搭建利用HDFS、Hive、Hbase技术。

3.根据权利要求1所述的云环境下的分布式空间大数据管理方法，其特征在于：所述步骤2）中空间大数据的资源层包括大数据的来源分类，以及针对大数据资源进行的相关管理；其中，大数据来源分为行业专题、基础测绘、政务数据及其他数据；针对以上数据，该层设计了采集/汇聚区、清洗/预处理区、管理区进行相关管理。

4.根据权利要求1所述的云环境下的分布式空间大数据管理方法，其特征在于：所述步骤3）中空间大数据的服务层是根据所提供的空间大数据服务接口，依赖ArcGIS平台所拥有的矢量大数据分析引擎GeoAnalytics Server、影像大数据分析引擎Image Analytics Server、实时大数据分析引擎GeoEvent Server，为客户提供数据服务。

5.根据权利要求1所述的云环境下的分布式空间大数据管理方法，其特征在于：所述步骤2）中采集的方式包括移动端和PC端的在线提交及离线拷贝，预处理的方式包括根据ETL数据整合模型对相关数据进行清洗、转化与加载；存储的方式包括Hadoop实时多数据格式分布式存储；分析的方式包括基于最新数据做复杂空间分析、空间运算和挖掘；可视化的方式包括基于Hadoop+Spark+NoSQL+Geometry API等通过Portal、pro、insight直接访问大数据分析功能。

6.根据权利要求1所述的云环境下的分布式空间大数据管理方法，其特征在于：所述步骤3）中空间数据仓库中数据存储方式为 ArcSDE 空间数据库，采用Hive、Sqoop、ArcSDE空间SQL、SparK SQL、Hadoop技术；分布式列数据库中数据存储方式为 ArcSDE 空间数据库，采用Hbase、Sqoop、ArcSDE空间SQL、SparK SQL、Esri Geometry API for Java技术；非结构化散列文件采用Geoprocessing Tools for Hadoop、Esri Geometry API for Java、Spark技术；ArcSDE并行抽取与分析的ArcGIS大数据方案采用Spark SQL、ArcSDE 空间 SQL、Esri Geometry API for Java技术；基于GeoAnalytics的地理大数据一体化方案为并行处理架构，支持多种数据源、多终端访问；基于ArcGIS镶嵌数据集的影像大数据解决方案支持多种数据访问，根据卫星等技术获取数据并实时处理，快速高效的管理数据，可实时获取结果，并动态镶嵌数据集，提供灵活多端的应用模式、完善的影像服务发布机制；基于GeoEvent的实时大数据快速处理与分析方案使用多类传感器、流数据集成、大数据、内置处理、地图围栏，可拓展性强，应用场景为动态目标跟踪、实时态势感知、决策分析支持、网络舆情分析。