[发明专利]一种地理空间大数据处理方法及装置

说明书

本发明公开了一种地理空间大数据处理方法及装置。该方法包括：将地理空间数据按类型分别存储在文件系统和数据库；建立实时数据仓库；关联空间数据和时间数据，建立时空数据模型。可见，本发明将地理空间数据按类型分别存储在文件系统、数据库中；建立实时数据仓库，实现地理空间数据的实时处理、分析；通过关联空间数据、时间数据，建立时空数据模型，实现历史数据分析、数据推演预测。

技术领域

本发明涉及计算机领域，特别涉及一种地理空间大数据处理方法、装置、电子设备、计算机可读存储介质。

背景技术

目前地理空间数据处理方式主要是通过搭建用于存储地理信息系统（GeographicInformation System，GIS）数据的数据库，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，并通过物理存储架构实现GIS数据的冷热均衡；通过人工定时物理备份的方式完成数据备份，防止数据丢失；另外数据分析主要基于专业的GIS软件进行，分析结果以图层形式展示在GIS平台上。

目前智慧城市、城市大脑建设中城市级别的空间信息数据处理方式仍处于原始阶段。现有技术的存储方式在大数据背景下劣势渐渐凸显，主要有以下几种缺陷：1、传统数据库数据量受限；2、数据维护方式复杂；3、实时分析能力差；4、时空分析能力差；5、海量数据检索能力弱。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的地理空间大数据处理方法、装置、电子设备、计算机可读存储介质。

本发明的一个实施例提供一种地理空间大数据处理方法，该方法包括：

将地理空间数据按类型分别存储在文件系统和数据库；

建立实时数据仓库；

关联空间数据和时间数据，建立时空数据模型。

可选地，所述将地理空间数据按类型分别存储在文件系统和数据库，包括：

将地图、卫星影像、地形以及建筑模型数据存储在文件系统；

将物联网数据、公共交通记录、电商物流数据存储在数据库。

可选地，所述建立实时数据仓库，包括：

通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；

通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；

通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。

可选地，所述方法还包括：

将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中。

可选地，所述方法还包括：

采用组件Griffin对数据进行质量监控。

本发明的另一个实施例提供一种地理空间大数据处理装置，包括：

数据分类存储单元，用于将地理空间数据按类型分别存储在文件系统和数据库；

数据仓库建立单元，用于建立实时数据仓库；

时空数据模型建立单元，用于关联空间数据和时间数据，建立时空数据模型。

可选地，所述数据分类存储单元用于：

将地图、卫星影像、地形以及建筑模型数据存储在文件系统；

将物联网数据、公共交通记录、电商物流数据存储在数据库；

所述数据仓库建立单元用于：

通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；