[发明专利]一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置

说明书

本申请实施例提供了一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置，充分考虑了交通大数据存在的质量问题，建立了针对相似重复数据、缺失数据以及异常数据的数据清洗规则库，在进行数据清洗时只需要通过调用数据清洗规则库中相应的清洗配置文件便可进行数据清洗，解决了现有技术采用聚类的方法获取到相似特征数据，仅对缺失数据进行了补全，针对异常和错误数据选择了简单粗暴的进行更新和剔除，存在的数据清洗不实用，清洗规则不健全的技术问题。

技术领域

本申请涉及数据清洗技术领域，尤其涉及一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置。

背景技术

近些年，随着城市化进程的加快，汽车数量的急剧增加，越来越多的城市受交通拥堵的困扰，而城市公共交通保障市民通勤的能力越来越受到人们的关注。现阶段城市智能交通系统已产生了海量的数据，将这些分散的数据收集起来，进行共享、融合，并形成一定的应用模式，从中分析和挖掘出潜在的价值，去解决公共交通的瓶颈问题是将大数据技术应用于公共交通领域的一个重大举措。传统小规模交通数据的处理、存储和分析技术不再适用于现如今海量数据的处理。由于环境变化、采集装置故障等复杂因素，采集得到的交通数据往往有数据缺失、数据冗余和数据错误等质量问题，这些问题将直接影响到后期数据挖掘与数据分析的结果，极大地降低了数据的可靠性。数据清洗作为一种数据预处理手段，能够查找重复数据，填补空缺值，识别出数据中的错误数据，并且能够尽最大可能地保证数据使用前的正确性，以此来提高数据决策的质量。

数据噪声的类型主要有：数据缺失、数据冗余、数据错误、数据冲突等。真实世界中的脏数据往往不只包含一种类型的数据噪声，通过数据修复来清洗数据的方法可以分为基于完整性约束的数据清洗、基于规则的数据清洗、基于统计和机器学习的数据清洗和人机结合的数据清洗。在专利文献“一种基于云计算框架的交通大数据清洗方法”(申请号：CN201610517414.0，公开号：CN106202335A)中公开了一种在Hadoop的Map/Reduce模型框架下，针对交通数据高维、海量、数据更新快的特点，利用集群系统的并行计算能力来解决海量交通数据的快速清洗问题。该方法通过Hadoop集群的并行计算能力，聚类获取相似数据，能够快速的挖掘交通数据相似性特征，用于清洗异常数据。但该方法仍然存在不足，采用聚类的方法获取到相似特征数据，仅对缺失数据进行了补全，针对异常和错误数据选择了简单粗暴的进行更新和剔除，存在了数据清洗不实用，清洗规则不健全的技术问题。

发明内容

本申请实施例提供了一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置，解决了现有技术采用聚类的方法获取到相似特征数据，仅对缺失数据进行了补全，针对异常和错误数据选择了简单粗暴的进行更新和剔除，存在的数据清洗不实用，清洗规则不健全的技术问题。

有鉴于此，本申请第一方面提供了一种基于Hadoop与Spark框架的交通大数据清洗方法，所述方法包括：

搭建Hadoop集群；

搭建基于所述Hadoop集群的Spark集群；

对获取的交通大数据进行预处理；

通过配置用于清洗相似重复数据、缺失数据以及异常数据的清洗配置文件，建立数据清洗规则库；

对预处理后的所述交通大数据分配清洗任务，并利用预构建的树形结构将进入所述Spark集群的所述交通大数据进行流水线模式清洗，将满足预设要求的所述交通大数据保存至所述Hadoop集群的HDFS平台中。

可选地，所述对获取的交通大数据进行预处理具体包括：

对获取的交通大数据进行数据降维处理；

将所述交通大数据按照结构化数据、半结构化数据和非结构化数据进行分类；

将所述半结构化数据和所述非结构化数据转化为结构化数据，并进行数据的格式化。