[发明专利]一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置有效
| 申请号： | 201910798395.7 | 申请日： | 2019-08-27 |
| 公开（公告）号： | CN110502509B | 公开（公告）日： | 2023-04-18 |
| 发明（设计）人： | 张绪升;谢侃;谢胜利 | 申请（专利权）人： | 广东工业大学 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/25;G06F16/2458;G06F16/182;G06F16/906;G06F18/2321;G06F18/15;G06F18/2433 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 黄忠;沈闯 |
| 地址： | 510060 广东省*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例提供了一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置，充分考虑了交通大数据存在的质量问题，建立了针对相似重复数据、缺失数据以及异常数据的数据清洗规则库，在进行数据清洗时只需要通过调用数据清洗规则库中相应的清洗配置文件便可进行数据清洗，解决了现有技术采用聚类的方法获取到相似特征数据，仅对缺失数据进行了补全，针对异常和错误数据选择了简单粗暴的进行更新和剔除，存在的数据清洗不实用，清洗规则不健全的技术问题。 | ||
| 搜索关键词： | 一种 基于 hadoop spark 框架 交通 数据 清洗 方法 相关 装置 | ||
【主权项】：
1.一种基于Hadoop与Spark框架的交通大数据清洗方法，其特征在于，包括：/n搭建Hadoop集群；/n搭建基于所述Hadoop集群的Spark集群；/n对获取的交通大数据进行预处理；/n通过配置用于清洗相似重复数据、缺失数据以及异常数据的清洗配置文件，建立数据清洗规则库；/n对预处理后的所述交通大数据分配清洗任务，并利用预构建的树形结构将进入所述Spark集群的所述交通大数据进行流水线模式清洗，将满足预设要求的所述交通大数据保存至所述Hadoop集群的HDFS平台中。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东工业大学，未经广东工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910798395.7/，转载请声明来源钻瓜专利网。
