[发明专利]基于spark集群并行化计算的交通拥堵点发现方法

说明书

本发明公开了一种基于spark集群并行化计算的交通拥堵点发现方法，涉及轨迹大数据挖掘技术领域，解决的技术问题是如何对海量轨迹数据进行快速聚类以及发现城市热门区域的交通拥堵源，包括如下步骤：（一）对海量数据的预处理，包括补全轨迹点间的误差以及消除一定区域内一段时间的轨迹点冗余；（二）采用网格‑均值聚类算法聚类得到目标多个数据样本；（三）采用邻域最大密度网格聚类算法，聚类得到城市热门交通路网模型；（四）采用邻域密度差算法，计算出相邻网格密度差，得到交通拥堵源，并将得到的结果保存在spark内存中。本发明能够对海量数据快速聚类,得到城市交通路网模型,实现了交通拥堵源区域的快速发现。

技术领域

本发明涉及大数据挖掘技术领域，尤其涉及一种基于spark集群并行化计算的交通拥堵点发现方法。

背景技术

随着城市交通日益发展，车载定位系统的广泛应用，每天都能产生大量的轨迹数据，然而这些海量的轨迹数据却没有能得到很好的利用。同时，随着城市经济快速发展和智慧城市的需要，面对日益严峻的交通拥塞问题，如何利用当前的轨迹大数据，寻找交通拥堵的源头以及解决城市交通拥塞问题，推进智慧城市的前进步伐成为新的研究热点。

目前挖掘和分析大数据平台工具有多种，其中以Hadoop和Spark为主。

相对于Spark，由于Hadoop的MapReduce有着高延迟的致命弱点，导致Hadoop无力处理很多需对时间上有要求的场景，Spark不仅具备了Hadoop的所有的功能，在算法上更具优势，Spark内存迭代计算无论在占用计算机资源和计算速度上都远远超过Hadoop，因而更具有优势。

现有技术的大数据聚类算法中，有均值聚类算法，层次聚类算法，网格聚类算法，密度聚类算法等。其中以网格聚类算法最为快速，但是精度不高；均值算法好坏依赖于对初始聚类中心的选择、容易陷入局部最优解；密度聚类算法优点是聚类效果好，但是时间复杂度高等。如何利用和优化这些聚类算法进行大数据挖掘和分析以解决城市交通拥塞问题成为了关键。

发明内容

针对现有技术的不足，本发明所解决的技术问题是如何对海量数据进行快速聚类，以及通过利用现有的聚类算法加以改进，同时利用现有的大数据处理平台通过处理海量轨迹数据并运用算法计算出城市交通拥堵源。

为解决上述技术问题，本发明采用的技术方案是一种基于spark集群并行化计算的交通拥堵点发现方法，包括如下步骤：

(一)对海量数据的预处理，包括补全轨迹点间的误差以及区域内一段时间内轨迹点冗余，具体过程如下：

扫描所有数据源，将数据提取到Spark集群的RDD中得到数据集U；对数据进行分割，将分割后的数据分布到节点上得到数据集集合{U1,U2,U3…Un}，各个节点把数据集集合分配给Map函数，Map函数中调用一个截取函数，截取每条数据的后三个数据字段得到时间戳T、经度值Long和纬度值Lat；将得到的新数据Map函数设置一个时间段值T_x、两点距离数值D_is1和D_is2(其中D_is1D_is2)；选取Map函数任意一条数据，设两条数据的时间戳分别为T₁，T₂，其对应经纬度值为(Long1，Lat1)、(Long2，Lat2)，恒有T₁-T₂T_x,且

或

则两条数据为相似数据，删除其中任意一条数据；遍历Map，直到所有数据处理完毕，得到一个新的Map函数；在这个新的Map函数设立一个值n，任意选取Map中的一条数据，假设其经纬度值为Long、Lat，则有Long’＝Long*n,Lat’＝Lat*n，其中Long’，Lat’为新的轨迹点坐标值，如此循环直到所有数据遍历计算完为止，具体步骤如下：