[发明专利]基于时空分析的交通流数据清洗方法

说明书

技术领域

本发明属属于数据处理领域，尤其涉及一种基于时空分析的交通流数据清洗系统和方法。 

背景技术

随着城市交通压力的不断上升，智能交通系统在城市交通管理与控制体系中发挥着越来越重要的作用。而交通流基础数据库的正确性、完整性以及可靠性，则是整个智能交通系统高效运转的基础保障。然后现有的交通采集系统、信息传输系统在对数据的采集、传输及存储操作中存在着很多问题，容易产生脏数据，如检测装置失灵，数据发送失败等等。这些脏数据可能会导致智能交通系统决策失败甚至错误。因此必须在数据提取应用前对脏数据进行有效的处理，保障交通流基础数据库的数据质量。 

在这一领域内，国内外已经有了不少相关研究及工程应用产品。传统的交通流数据清洗过程通常包括数据属性分析、确定清洗方案、检验清洗结果、脏数据清洗以及数据更新5个阶段，且为了应付脏数据出行的不同情况，如数据错误、数据丢失、数据漂移等，需要进行相应的处理，处理过程繁琐。同时在进行脏数据清洗时，到目前为止也已出现了一系列相应的技术方法与手段，主要可分为两大类：以统计学为基础的预测模型和以智能算法为主要研究手段形成的预测模型。但是前一类方法包括卡尔曼滤波模型、参数回归模型、时间序列模型等，仅考虑采用历史因素为数据进行处理，不适于时变的复杂系统，精度较低；后一类方法包括状态相空间重构模型、小波分解模型、神经网络、支持向量机等，方法过于复杂，不适于实际应用。 

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于时空分析的交通流数据清洗方法，本发明改善传统的交通流数据清洗过程，使其简洁明了，同时改进脏数据清洗时的技术手段，使其监督方法的能够兼顾算法复杂性与结果精确性，是本发明主要解决的问题。 

技术方案：为实现上述发明目的，本发明采用以下技术方案：一种基于时空分析的交通流数据清洗方法，包括脏数据存储模块、干净数据存储模块和运算模块，其中： 

所述脏数据存储模块，对实时接收到的交通流信息不加改变的按照固定格式进行存储； 

所述运算模块，按照固定时间间隔从脏数据存储模块中提取最新数据，同时从干净数据库中提取与之在时间和空间存在匹配关系的数据，进行运算； 

所述干净数据存储模块，对运算模块运算完毕后的数据按照固定格式进行存储。 

所述脏数据存储模块中接收的交通流信息为包括13个字段的49位的十进制代码，其中各字段名称及其长度位数如下： 

检测器序号，日期，时间，第一车道流量，第二车道流量，第三车道流量，第四车道流量，第五车道流量，第六车道流量，第七车道流量，第八车道流量，第九车道流量，第十车道流量；前述各字段的长度位数依次分别为：5位、8位、6位、3位、3位、3位、3位、3位、3位、3位、3位、3位和3位。 

所述运算模块的运算方法如下： 

首先，运算模块每隔T0时间从脏数据存储模块中遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的数据，分别为{A₁,A₂,A₃,…,A_m}，同时在干净数据存储模块中，遍历所有m个检测器序号ID，并分别提取相同ID的数据中时刻最新的4条数据，分别记为{B₁¹,B₁²,B₁³,B₁⁴)，(B₂¹,B₂²,B₂³,B₂⁴)，(B₃¹,B₃²,B₃³,B₃⁴)，…，(B_m¹,B_m²,B_m³,B_m⁴)}；其中任意A_i或者B_i^j均为长度49位的十进制代码，i和j为自然整数；