[发明专利]一种基于分治网格的空间大数据算法

权利要求书

1.一种基于分治网格的空间大数据算法，其特征在于：包括分治网格划分，首先将需要计算的空间数据进行预处理，并且进行降维投影，根据投影的密度分布进行分治可变网格划分；

所述分治网格划分具体步骤如下：

步骤1：将MN的空间数据分别在x，y轴进行投影；

步骤2：对x轴的投影按照密度分为k=格，在y轴的投影按照密度也分为k=格；

步骤3：将网格和图层进行空间叠加，将原图层拆分为每个网格一个图层的格式；

步骤4：在分区存储的基础上，利用希尔伯特曲线建立空间数据的索引。

2.根据权利要求1所述的一种基于分治网格的空间大数据算法，其特征在于，所述密度分布可变网格划分，对于x轴数据，采用快速排序法排序后的数据可表示为D = { q1，q2，…，qn}，将D等深划分为k 个区间段，则各区间段内的数据点个数均为［n/k］，此时第i个区间段Ii = q(［n/k］*i) － q(［n/k］*(i－1) +1) 。

3.根据权利要求1所述的一种基于分治网格的空间大数据算法，其特征在于，将不同图层和网格的叠加分析任务并行化，利用多个节点的计算能力并行处理，称为分配调度计算；

在集群化处理方面，利用Spark将整个的计算任务分解为每个网格的计算任务在集群上分别执行，最终通过数据汇总任务将各个子任务的结果进行汇总形成最终结果；

通过分布式的分配调度计算可以突破以往单机计算能力不足的缺陷。

4.根据权利要求3所述的一种基于分治网格的空间大数据算法，其特征在于，所述Spark分布式桉网格进行计算，按照网格将数据解析处理，提取出计算需要的数据，然后将数据封装为任务，提交到 Kafka 的消费者模块，传输到数据处理程序当中；Spark 数据处理模块接收到 Kafka 发出的任务执行命令，Spark 根据任务选择计算程序进行计算，并且渲染计算结果。