[发明专利]路网约束下的空间自相关Spark并行计算方法

说明书

本发明公开了路网约束下的空间自相关Spark并行计算方法，包括步骤：(1)采用LineInfo描述道路网中各单条道路的道路信息；(2)excutor节点分别分割各单条道路；(3)excutor节点统计各线性单元的事件点总数；(4)各excutor节点根据网络拓扑结构，计算各线性单元的邻接线性单元；(5)在Driver节点，利用Spark的累加器实现空间自相关指数的计算。本发明基于Spark，设计了路网约束下空间自相关的Spark并行计算方法，该方法充分利用计算机的多核运算，提高了大规模数据量下空间运算的效率，可满足海量数据下的运算需求。

技术领域

本发明属于空间统计分析与并行化技术领域，具体涉及路网约束下的空间自相关Spark并行计算方法。

背景技术

空间分析一直是地理信息研究的重点。空间自相关分析用来研究空间相邻点位间属性值的关系，通过自相关系数可以得到观察值与邻接值之间的关系。如果指数为正，则空间相邻点位的属性值呈正相关；如果指数为负，则为负相关；如果为零，则表示随机分布。空间自相关也可以用来发现“热点”、“冷点”等异常值，为决策分析提供支持。传统的空间自相关分析主要基于二维平面的分析，当遇到明显沿道路分布的事件时，会有一定的偏差，因此本发明将路网引入到空间自相关分析中。

随着城市现代化建设的加快，城市间的道路变得越来越密集，道路数据增加，沿道路发生的事件数量呈井喷式的增长，传统的单机算法受到内存和计算能力的影响，无法满足实际需求。

发明内容

为提高大数据量下路网约束下的空间自相关的运算效率，本发明提供了路网约束下全局空间自相关与局部空间自相关的Spark并行计算方法。

传统的空间自相关分析主要基于二维平面的分析，当遇到明显沿道路分布的事件时，会有一定的偏差，因此本发明将路网引入到空间自相关分析中。基于路网约束的空间自相关将发生事件放在了网络距离上进行计算。Spark并行化将单机算法应用到了集群中，充分利用了多台计算机的多核运算性能。

本发明提供的路网约束下的空间自相关Spark并行计算方法，包括步骤：

(1)采用LineInfo描述道路网中各单条道路的道路信息；

(2)Spark中driver节点向集群广播道路网，excutor节点执行：

各excutor节点分别计算任意两条道路之间的交点，并在LineInfo中记录交点坐标信息；从道路网获取每条道路的起止点、拐点、交点的坐标并排列，构建坐标序列；以起止点、交点为分割点，分别分割各单条道路，分割单条道路获得的线性单元发送至driver节点；

(3)driver节点将各线性单元按位置顺序存储入有序线性单元集中，再次向集群广播；

excutor节点根据交点坐标信息及线性单元编号构建路网拓扑结构，并统计各线性单元的事件点总数；各excutor节点统计的各线性单元的事件点总数发送至driver节点；

(4)driver节点再次将统计的事件点总数向集群广播；各excutor节点根据网络拓扑结构，计算各线性单元的邻接线性单元；

(5)在Driver节点，利用Spark的累加器实现空间自相关指数的计算。

进一步的，LineInfo描述的道路信息包括道路编号id、分区编号partitionNum、道路的Geometry形式LineString、道路分段信息segments、与其他道路的交点信息crossPoints、路网拓扑结构intersections、交点的位置信息relationInfo、每个线性单云的邻接单元信息weight、邻域内的事件点数pointcount。

进一步的，分割各单条道路时，按照预设的线性单元长度划分道路，不足一个线性单元长度的按照一个线性单元处理。