[发明专利]路网约束下K函数的Spark并行计算方法

权利要求书

1.路网约束下K函数的Spark并行计算方法，其特征是，包括步骤：

步骤1，通过Spark中的dataSetRow操作读取道路网A和事件点集P，采用LineInfo描述道路网中各单条道路的道路信息；

步骤2，赋给A中的每一条道路一个唯一编号标识L_i，L_i表示第i条道路的编号标识，i＝1,2,…n，n为道路网中道路数量；

步骤3，Spark中driver节点向集群广播道路网，excutor节点执行：

各excutor节点分别计算任意两条道路之间的交点，并在LineInfo中记录交点坐标信息；从道路网获取每条道路的起止点、拐点、交点的坐标并排列，构建坐标序列；以起止点、交点为分割点，分别分割各单条道路，分割单条道路获得的线性单元发送并按顺序存储至有序线性单元集中；

步骤4，driver节点收集分割后的道路信息，再次向集群广播，excutor节点执行：

根据交点坐标信息及线性单元编号构建路网拓扑结构，并利用Spark的累加器统计各线性单元的事件点总数，即线性单元的属性值；并计算道路网中所有道路的总长度；excutor节点将所计算出的路网拓扑结构、事件点总数、总长度发送至driver节点；

步骤5，driver节点向集群广播道路信息，excutor节点执行：

对每一个线性单元，根据网络拓扑结构，遍历得到该线性单元聚类距离范围内的其他线性单元，累计聚类距离范围内其他线性单元属性值的总数points，将inpoint与points相乘，inpoint为该线性单元的属性值，得到该线性单元下事件点的总邻接点数adjpoints；

步骤6，在各driver节点计算观测K值其中，n_pj(t)表示事件点pj在道路网的边集合的聚类距离t内的所有邻域点数目，w＝n'/l_T，n'表示事件点总数，pj表示第j个事件点，j依次取1、2、…n'；l_T为道路网中所有道路的总长度；

步骤7，在各excutor节点中每个分区内进行线性单元属性值的交换，模拟点的随机分配；重复步骤5～7得到一系列K(t)值；

步骤8，计算一系列K(t)值的平均值、标准差、伪P值、置信区间下限、置信区间上限；标准差即预期K值；

步骤9，基于增量增加聚类距离，重复步骤5～9，得到不同聚类距离下的观测K值、预期K值、置信区间下限、置信区间上限。

2.如权利要求1所述的路网约束下K函数的Spark并行计算方法，其特征是：

LineInfo描述的道路信息包括道路编号id、分区编号partitionNum、道路的Geometry形式LineString、道路分段信息segments、与其他道路的交点信息crossPoints、路网拓扑结构intersections、交点的位置信息relationInfo、每个线性单云的邻接单元信息weight、邻域内的事件点数pointcount。

3.如权利要求1所述的路网约束下K函数的Spark并行计算方法，其特征是：

分割各单条道路时，按照预设的线性单元长度划分道路，不足一个线性单元长度的按照一个线性单元处理。

4.如权利要求1所述的路网约束下K函数的Spark并行计算方法，其特征是：

构建路网拓扑结构时，对有序线性单元集中各线性单元的首尾节点顺次编号，第m个线性单元的首节点和尾节点分别编号为m-1、m；针对每个线性单元，结合其所在道路的起止点和交点坐标信息，构建路网拓扑结构；路网拓扑结构中Map数组的键为交点编号，值为与交点相交的其他道路的道路信息。

5.如权利要求1所述的路网约束下K函数的Spark并行计算方法，其特征是：

事件点总数的统计方法为：

计算输入的计算各事件点集中各事件点与各条道路的距离，选择距离最短的道路L_min；再分别计算各事件点与L_min的每个线性单元的距离，找出距离最短的线性单元，若该最短距离未超出预设的阈值范围，将该线性单元的计数值加1。