[发明专利]一种地理空间大数据处理方法及装置

权利要求书

1.一种地理空间大数据处理方法，其特征在于，包括：

将地理空间数据按类型分别存储在文件系统和数据库；

建立实时数据仓库；

关联空间数据和时间数据，建立时空数据模型。

2.根据权利要求1所述的方法，其特征在于，所述将地理空间数据按类型分别存储在文件系统和数据库，包括：

将地图、卫星影像、地形以及建筑模型数据存储在文件系统；

将物联网数据、公共交通记录、电商物流数据存储在数据库。

3.根据权利要求2所述的方法，其特征在于，所述建立实时数据仓库，包括：

通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；

通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；

通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中。

5.根据权利要求1所述的方法，其特征值在于，所述方法还包括：

采用组件Griffin对数据进行质量监控。

6.一种地理空间大数据处理装置，其特征在于，包括：

数据分类存储单元，用于将地理空间数据按类型分别存储在文件系统和数据库；

数据仓库建立单元，用于建立实时数据仓库；

时空数据模型建立单元，用于关联空间数据和时间数据，建立时空数据模型。

7.根据权利要求6所述的装置，其特征在于，所述数据分类存储单元用于：

将地图、卫星影像、地形以及建筑模型数据存储在文件系统；

将物联网数据、公共交通记录、电商物流数据存储在数据库；

所述数据仓库建立单元用于：

通过分布式平台Debezium连接所述数据库和开源流处理平台kafka；

通过所述分布式平台Debezium监控所述数据库的变更并同步到所述开源流处理平台kafka的消息队列中；

通过数据引擎Flink拉取所述开源流处理平台kafka的消息队列中的数据，划分数据仓库层次，将数据处理流程分别在原始数据层、数据明细层、数据汇总层、应用层进行完成，建立实时数据仓库。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

实时搜索单元，用于将指标分析结果、城市物联网部件数据、人口数据、城市POI数据和矢量、栅格数据存储在搜索服务器Elasticsearch中；

数据质量监控单元，用于采用组件Griffin对数据进行质量监控。

9.一种电子设备，其特征在于，该电子设备包括：

处理器；以及，

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1-7中任一项所述的方法。