[发明专利]一种基于时空因果关系的城市感知数据处理方法

说明书

本发明提供了一种基于时空因果关系的城市传感数据处理方法，用于修复车辆时空轨迹行为数据。本发明通过跳转图模型学习轨迹采集设备的空间相关性，并输出设备分布式向量表示用于后续处理；将噪声数据检测问题作为一个序列标记问题，通过双向LSTM的序列标注模型，检测错误数据和潜在缺失数据，对车辆轨迹点进行标注，利用基于双向LSTM的序列预测器来预测缺失的轨迹点；最后结合预测的缺失数据来修正错误的轨迹点。本发明方法实现自动检测含噪数据，并从时空因果关系的角度对缺失数据进行修复，以避免生成不合理的车辆轨迹，提高了错误轨迹数据修复的正确率。

技术领域

本发明属于车辆时空轨迹行为数据处理技术领域，具体涉及一种基于时空因果关系的城市感知数据的噪声处理方法。

背景技术

城市感知是城市计算的基础，通过在不同的地理空间位置部署不同类型的传感器，实现对城市区域的自然环境和人文环境进行连续、协同的监测。随着传感技术的兴起，地理空间传感器收集了各种类型的时空数据，例如由感应环路检测器和远程交通微波传感器收集的交通流量数据，由基站收集的通信数据。此外，多传感器应用于现实中产生时空数据还包括气象监测、电气设备监控、天气预报、环境状态监视、安防监控等领域。然而，越来越多的报告表明由于恶劣的工作环境或不可控制的因素影响，如极端天气、设备故障和不稳定的通信信号，导致传感器采集的原始数据可能会偏离实际值或存在缺失值。

电子警察和卡口系统是一种道路车辆智能监测和记录系统，电子交通卡口设备(ETBD)广泛部署在城市道路的交叉路口和高速公路路段，产生大量图像和文本格式的车辆轨迹数据，其中包括车牌号码、时间戳、车速和方向信息。虽然车牌自动识别(LPR)算法的精度越来越高，相机的像素也变得越来越高，但对来自九个不同设备厂商由早到晚收集的超过10万条数据进行人工标注发现，由于拍摄角度、光线、人为和车辆遮挡等原因，在实际场景中LPR的精度仍然不高于83％，这导致交通卡口设备收集的数据不是完全可靠的。

因为电子警察系统收集的车辆轨迹数据为快速纠正交通违规、检测交通事故逃逸、机动车盗窃、伪造车牌以及交通量预测和交通规划提供了重要的技术手段和依据，因此提高数据准确性具有重要意义。目前，交管局有团队负责人工数据检查和纠正，但特别低效和耗时。因此，需要一种面向大规模的车辆轨迹行为数据的噪声处理、数据挖掘技术，以能显著地促进各种交通管理场景。

现有的轨迹数据噪声滤波方法主要依赖于轨迹点之间的距离和行驶速度，其中大部分数据是由采样时间固定且采样时间较短的GPS传感器采集的，轨迹点由经纬度表示。电子警察采集是通过安装在指定位置的传感器来获取轨迹点，而且传感器的安装点分布不均匀，容易缺失数据。对于缺失数据，现有技术在时间序列中预测缺失数据，给出了数据丢失的位置，但与图像数据不同，轨迹数据有两个独特的属性：1)空间属性，由地理层次和距离组成；2)时间属性，由行驶时间和趋势组成；对于交通中车辆轨迹行为数据，轨迹数据缺失的时间仍不确定。

在传统噪声数据清理中，数据质量的两个中心指标是一致性和准确性。数据库中的不一致和错误数据通常会出现为违反完整性约束的情况。这需要设定完整性约束，以建模数据的基本语义，但目前的工作很少研究这个问题。目前对约束进行的工作主要是基于传统的依赖关系，例如功能依赖关系和完全依赖关系等，主要为方案设计开发，但通常不足以捕获数据的语义。此外，对数据清理和数据库约束的正式研究主要集中在传统的关系数据库上，随着时空数据的规模正在迅速扩展，需要分布式文件系统或非关系数据库来管理和处理数据。