[发明专利]基于时间序列数据自增特征的数据清洗方法及装置

说明书

本发明实施例提供了一种基于时间序列数据自增特征的数据清洗方法及装置，所述方法包括：根据与原始里程时间一一对应的原始里程数据，基于时间序列逐个判断每个原始里程数据是否为异常跳变数据，若是，则对异常跳变数据进行更新，当判断和更新完所有的原始里程数据后，计算所述预设时间范围内的相对里程或任意两个原始里程时间点之间的相对里程。本发明实施例能够基于时间序列逐个消除车辆在预设时间范围内产生的异常里程数据，从而保证了数据清洗效果，降低了出现异常里程数据误检、漏检的概率，从而能够得到较为干净的里程数据，进而根据清洗后的里程数据可以准确计算所述预设时间范围内的相对里程或任意两个原始里程时间点之间的相对里程。

技术领域

本发明涉及车辆运输技术领域，具体涉及一种基于时间序列数据自增特征的数据清洗方法及装置。

背景技术

在对车辆进行分析过程中，需要经常分析里程油耗数据，统计油气耗报表，此时需要处理脉冲里程和ECU油耗数据。由于车辆运行过程中的突发因素和突发状况比较多，因此容易导致出现各种异常值，因此，为了得到干净的车辆行驶数据，需要对数据进行清洗工作，消除车辆行驶数据中的异常数据，得到准确的车辆行驶数据。

对于车辆行驶数据中的脉冲里程数据，目前大部分终端设备同时上报GPS定位信息和脉冲里程数据。因此可以考虑使用GPS定位坐标通过球面距离公式计算GPS里程，再用GPS里程充当同一时间区间范围内的脉冲里程。而这里有引入几个问题：首先，GPS定位信息因为上报和采集时间间隔的问题，并不是连续的。因此计算相邻两点之间距离的时候，其实是计算球面上两点的最近距离，这就导致累加 GPS距离结果比实际行驶轨迹的距离要小。这个误差一般在5％左右。其次，GPS定位信息本身也存在定位点漂移和精度误差。在某些军事敏感区域内或者因为天候地理因素，GPS模块可能无法准确或者正常定位。因此GPS里程只能作为辅助参照值，无法完全取代脉冲里程的实际使用价值。

对于车辆行驶数据中的油耗数据，目前部分终端设备通过监控油位传感器上报的油位液面高度变化来计算油耗。这个不仅精度不高，而且因为车辆行驶过程中，加速度、电磁环境、角速度、温度、坡度变化等外部因素导致液面波动，为精确采集油位增加了难度。导致油位数据上报不准，因此通过油位下降计算出来的油耗只能作为辅助参照值，无法完全取代ECU油耗的实际使用价值。

发明内容

针对现有技术中的问题，本发明实施例提供一种基于时间序列数据自增特征的数据清洗方法及装置。

第一方面，本发明实施例提供了一种基于时间序列数据自增特征的数据清洗方法，包括：

获取车辆在预设时间范围内产生的与原始里程时间一一对应的原始里程数据；

根据与原始里程时间一一对应的原始里程数据，逐个判断每个原始里程数据是否为异常跳变数据，若是，则对异常跳变数据进行更新，当判断和更新完所有的原始里程数据后，计算所述预设时间范围内的相对里程或任意两个原始里程时间点之间的相对里程。

进一步地，所述根据与原始里程时间一一对应的原始里程数据，逐个判断每个原始里程数据是否为异常跳变数据，若是，则对异常跳变数据进行更新，当判断和更新完所有的原始里程数据后，计算所述预设时间范围内的相对里程或任意两个原始里程时间点之间的相对里程，具体包括：

S1、初始化原始里程时间T0，T1，…，Tn-2，Tn-1以及和原始里程时间T0，T1，…，Tn-2，Tn-1一一对应的原始里程数据为V0，V1，...， Vn-2，Vn-1；其中，TiTi+1，原始里程时间的最小单位为1s，原始里程数据的最小单位是0.01km；

S2、定义累积里程增量inc＝0.00km，preValue＝V0，preTime＝T0；

S3、由1...n-1依次遍历原始里程数据V0，V1，...，Vn-2，Vn-1 和原始里程时间T0，T1，...，Tn-2，Tn-1；