[发明专利]实时交通流量并行预测方法、系统、终端及存储介质

说明书

本发明公开了实时交通流量并行预测方法、系统、终端及存储介质，方法包括：基于Spark并行分布式计算平台，根据弹性分布式数据集RDD对车辆的移动轨迹数据进行数据预处理；对处理后的数据进行滤波得到训练数据；根据训练数据，构建基于Spark的分布式双向长短期记忆神经网络权重模型(SW‑BiLSTM模型)；基于Spark并行分布式计算平台，执行分布式SW‑BiLSTM模型，输出预测结果；基于Spark并行处理框架，通过RDD算子进行数据预处理，经数据滤波平滑后获得训练数据，降低对预测模型精度的影响；以及构建分布式SW‑BiLSTM模型，在确保交通流量预测鲁棒性的同时，提高交通流量预测的准确性和实时性。

技术领域

本发明涉及移动轨迹大数据驱动的交通流量预测领域，尤其涉及实时交通流量并行预测方法、系统、终端及存储介质。

背景技术

在智能交通系统(ITSs)和先进交通管理系统(ATMSs)中，实时交通流量预测旨在于实现交通流量的实时预测、优化控制和前瞻诱导，是解决交通预警控制的关键和基础。准确实时的交通流量预测可以帮助人们规划旅行时间和旅行路线，降低不必要的时间开销，缓解交通拥堵、减少交通事故和改善城市环境等。

传统交通流量预测模型在集中式挖掘平台处理大样本数据时存在“内存消耗高、数据传输耗时、计算性能低”等问题，以及基于串行处理框架的现有集中式预测模型在交通流量预测时仍存局限，极易导致“内存消耗高、I/O开销大、计算性能低和可靠性差”等技术问题。同时，交通流量呈现高度的非线性，时变性和不确定性等特征，以及现有技术并未充分考虑历史-未来时刻的交通流量信息，以及没有充分捕捉交通流量内在的相关性信息，从而导致交通流量预测精度低的技术问题。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供实时交通流量并行预测方法、系统、终端及存储介质，在确保交通流量预测鲁棒性的同时，提高交通流量预测的准确性和实时性，解决集中式挖掘平台下交通流量预测模型在处理大样本数据时存在的内存消耗高、计算耗时技术问题。

本发明解决上述技术问题的技术方案如下：实时交通流量并行预测方法，包括以下步骤：

基于Spark并行分布式计算平台，根据弹性分布式数据集RDD对车辆的移动轨迹数据进行数据预处理；

对所述处理后的数据进行滤波得到训练数据；

根据所述训练数据构建基于Spark的分布式双向长短期记忆神经网络权重模型(SW-BiLSTM模型)；

基于Spark并行分布式计算平台，执行所述分布式SW-BiLSTM模型，输出预测结果。

本发明的有益效果是，在Hadoop分布式计算平台下,基于Spark并行处理框架，通过RDD算子进行数据预处理和进行滤波后获得训练数据，构建分布式SW-BiLSTM模型，基于Spark并行分布式计算平台，通过RDD实现所述分布式SW-BiLSTM模型，并输出预测结果，在确保交通流量预测鲁棒性的同时，提高交通流量预测的准确性和实时性，解决了集中式挖掘平台下交通流量预测模型在处理大样本数据时存在的内存消耗高、计算耗时技术问题。

进一步，基于Spark并行分布式计算平台，根据弹性分布式数据集RDD对车辆的移动轨迹数据进行数据预处理包括：

读取存储在HDFS文件系统中的车辆GPS轨迹数据，并创建多个RDD；

调用Spark中的至少两种转换算子和至少两种执行算子对所述RDD进行数据处理和转换；

启动所述RDD将处理转换后的车辆GPS数据保存至HDFS。