[发明专利]一种驾驶运输异常数据的处理方法

说明书

本发明公开了一种驾驶运输异常数据的处理方法，其步骤如下：S1：采集车辆数据，对数据进行去重处理；S2：对经纬度和里程值数据进行检测和分析；S3：对检测出来的异常数据进行修正和删除；S4：对修正好的数据格式统一化和数据集成。本发明通过使用基于经纬度距离的异常点检测算法来筛选出经纬度异常，进行处理，可以辅助道路运输过程安全管控，提高运输安全管理水平和运输效率。

技术领域

本发明属于数据处理领域，具体为一种驾驶运输异常数据的处理方法。

背景技术

随着日益增长的运输需求和人们对于运输要求的变高，公路运输在信息时 代迎来新的挑战。车联网技术应运而生，车联网是指借助装载在车辆上的电子 标签通过无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息 和静、动态信息进行提取和有效利用，并根据不同的功能需求对所有车辆的运 行状态进行有效的监管和提供综合服务的系统。车载传感器等设备能够实时的 采集到大量的车辆行驶数据，如何从大量、复杂的采集数据中提取车辆的行程、 对车辆轨迹进行挖掘、对车辆行驶轨迹进行管控、分析驾驶员的不良驾驶行为、 为驾驶员提出安全建议是至关重要的。

因此，为了提高数据挖掘的质量，数据处理是必不可少的环节。又因为现 实中采集到的数据大多都带有噪声会导致部分数据异常，对异常数据进行检测 和处理是必要的。

目前异常数据处理方法方面的研究现状：

一部分研究是对缺失数据进行处理，在目前较为经典且被广泛使用的数据 填补方法包括基于统计和基于机器学习两种。基于统计学的填补方法主要包括 均值法、多重插补和期望最大化。在基于机器学习的填补方法中，支持向量回 归算法可以通过将低维非线性数据映射到高维实现数据可分，因此具有非线性 回归能力。但其算法性能很大程度上受到核函数中超参数的影响，效果并不稳 定。随机森林算法将统计学习分类与回归结合在一起，使用多个决策树进行预 测，输出值为所有决策树结果的平均值，在高维数据训练上速度快且泛化能力 强，但在数据噪音或波动较大的场景下，该方法可能会出现过拟合现象。另外 一部分是对车辆跑偏的研究，在计算方法方面，武汉理工大学的廖聪分析了三 种跑偏量计算方法，对每种算法的误差特性做了解析计算和比较。安长江、李 文勇提出用GPS技术来进行车辆的跑偏测量，并推导出跑偏数据计算方法，在保 证测量精度的前提下实现了跑偏量的快速测量和计算。周恒星基于VB0X设备， 简要介绍了利用GPS进行跑偏测试的系统，该测试方法和系统广泛被汽车企业所 采用。通过以上的现状分析，目前对异常数据的处理主要集中数据缺失上以及 车辆跑偏，对具体数值的异常数据尤其是异常经纬度的数据缺少有效的处理方 法，这导致驾驶运输数据处理的缺陷，给交通运输管理带来安全隐患。

发明内容

为了解决上述技术问题，本发明提供一种驾驶运输数据处理方法，对于能 够修正的异常点，结合汽车方向角来进行修正，完善了驾驶运输数据的预处理。

本发明解决上述技术问题的技术方案是：一种驾驶运输数据预处理方法， 包括以下步骤：

S1：采集车辆数据，对数据进行去重处理；

S2：对经纬度和里程值数据进行检测和分析；

S3：对检测出来的异常数据进行修正和删除；

S4：对修正好的数据格式统一化和数据集成。

进一步的，所述步骤S2对经去重处理的车辆数据通过依据阈值的检测算法 进行检测和分析。

进一步的，所述步骤S3对检测出来的异常数据若为脏数据，直接删除，能 够修正的异常点，则结合汽车方向角，用依据三角函数关系构造的修正算法进 行修正

与现有技术相比，本发明的有益效果在于：本发明依据阈值的检测算法过 滤出可修正的异常数据值和只能删除的脏数据,再依据三角函数关系构造的修 正算法修正异常数据值，修正后的数据可辅助道路运输过程的安全管控，以提 高运输安全管理水平和运输效率。