[发明专利]一种海量交通点数据的整理方法和装置、设备和介质

说明书

本发明公开了一种海量交通点数据的清理转换方法和装置、设备和介质，所述方法包括步骤：原始数据读取：读取要进行整理的海量交通点数据库或文件夹；数据清洗：去除所述海量交通点数据中指定日期以外的数据，去除仅出现一次的交通点数据，仅保留同一时间同一经纬度最早和最晚的交通点数据；数据匹配：对清洗后的所述海量交通点数据进行匹配，对同一交通点的初始位置时间与结束位置时间进行匹配，同一交通点的初始经纬度与结束经纬度进行匹配；导出数据文本。本发明可将海量的交通点有效转为高质量的数据，并可实现交通点到交通路径的点线转换，监测交通点运动轨迹，可用于快速判断预测交通流变化和增强对交通点调度的灵活性，更好地服务用户。

技术领域

本发明涉及一种海量交通点数据的清理转换方法和装置、设备和介质。

背景技术

当前装有GPS定位系统的机动车数量基数大，使用次数多因而数据量大，数据噪点多，不易整理和统计。

通过对同一编号的交通点数据进行整理，便于观察同一交通点运行的时间、位置轨迹及时长，通过海量数据的研究可对交通流的出现进行预测和增强对交通点调度的灵活性，发现潜在价值，更好服务用户。

过去的数据不利于对大量数据进行有效整理，本发明可在短期内高效完成对数据的整理。

发明内容

本发明提供一种海量交通点数据的清理转换方法和装置、设备和介质，可简单快速对现有交通点数据进行整理，同时，用户只需根据现有的交通点数据即可开始整理并自动生成分析结果，无需掌握数据整理的开发和使用方法，降低了大数据应用服务的技术门槛，提升了用户对大数据服务的体验。

本发明通过如下技术方案实现：

一种海量交通点数据的整理方法，包括步骤：

原始数据读取：读取要进行整理的海量交通点数据库或文件夹，所述海量交通点数据包括交通点编号，交通点的日期、时间和经纬度；

数据清洗：去除所述海量交通点数据中指定使用日期以外的数据，去除仅出现一次的交通点数据，仅保留同一时间同一经纬度最早和最晚的交通点数据；

数据匹配：对清洗后的所述海量交通点数据进行匹配，对同一交通点的初始位置时间与结束位置时间进行匹配，同一交通点的初始经纬度与结束经纬度进行匹配；

导出数据文本：将整理后的所述海量交通点数据自动导出为后缀为.csv的交通点数据文本。

进一步地，所述读取要进行整理的交通海量点数据时，具体通过输入数据所在文件夹的路径自动读取其中所有的csv文件，并将读取的交通点数据以“交通点编号”-“该交通点的时间/经纬度所形成的二维列表”的键值对装入字典data_raw_dict中。

进一步地，所述去除所述交通点数据中指定使用日期以外的数据时，还删除所述交通点数据中指定使用日期内未移动交通点的数据，生成新的字典data_dict。

进一步地，所述删除所述交通点数据中指定使用日期内未移动交通点数据具体是删除所述字典data_raw_dict中仅有一个值的键值对的数据。

进一步地，所述生成新的字典data_dict后，还包括步骤：对字典data_dict按交通点编号为第一优先、时间为第二优先进行升序排序。

一种海量交通点数据的整理装置，包括：

原始数据读取模块，用于读取要进行整理的海量交通点数据库或文件夹，所述海量交通点数据包括交通点编号，交通点开始移动的日期、时间和经纬度，交通点使用后的日期、时间和经纬度；

数据清洗模块，用于去除所述海量交通点数据中指定使用日期以外的数据，去除仅出现一次的交通点数据，仅保留同一时间同一经纬度最早和最晚的交通点数据；