[发明专利]一种微波交通数据采集设备的异常值检测方法有效
申请号: | 201810585465.6 | 申请日: | 2018-06-08 |
公开(公告)号: | CN108847022B | 公开(公告)日: | 2021-04-16 |
发明(设计)人: | 许彦超 | 申请(专利权)人: | 浙江银江智慧交通集团有限公司 |
主分类号: | G08G1/01 | 分类号: | G08G1/01;G08G1/04;G06K9/62 |
代理公司: | 浙江千克知识产权代理有限公司 33246 | 代理人: | 赵芳;张瑜 |
地址: | 310030 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 微波 交通 数据 采集 设备 异常 检测 方法 | ||
一种微波交通数据采集设备的异常值检测方法,包括:(1)读取微波交通数据采集设备采集的数据,对同一维度的数据进行有效维度筛选,得到多维度有效数据;(2)对多维度有效数据进行标准化处理;(3)对标准化后的多维有效数据进行聚类,得到相应的聚类结果;(4)对聚类结果中各个类别中的数据的表现进行判定,确定哪些类别的数据为异常数据。本发明的有益效果:可以有效利用微波数据的多维度特征,在全局角度筛选出数据异常值,摒弃了之前只从单维度分析异常值的办法。提升异常值检测效率,在海量数据层面上也具有可操作性,节省时间和技术人员的精力。
技术领域
本发明属于城市交通领域,涉及一种基于Kmeans聚类算法的微波交通数据采集设备的异常值检测方法。
背景技术
在交通领域存在多种数据采集方式和设备,其中微波设备由于其稳定性而被广泛安装在城市道路上。对交通数据采集设备收集的数据进行分析和利用在整治交通拥堵,规划道路等城市发展问题上具有指导意义。然而由于客观原因的存在,交通采集设备所收集的数据往往具有异常值,从而导致数据质量下降,影响了后续对数据的分析,所以需要对原始数据进行异常值检测,保证数据质量。根据以往经验,交通采集设备所收集的数据会包含统计性异常值和业务性异常值。统计性异常值一般都是由于设备故障而产生的,而业务性异常值属于不符合业务规律的。
现有的异常值检测方案一般还是以技术人员的经验判断为准人为筛选出异常值。这种方法效率不高而且难以在多维度数据上使用。与此同时,人为判断异常值也常常会因为数据量的增大忽略掉一些潜在的异常值。跟现有的异常值检测技术相比,聚类算法可以应对多维度数据的情况,通过把数据点按照之间在多维空间上的欧式距离远近归类找出“少且异”的异常值。
发明内容
本发明的目的是提供一种提升异常值检测效率,在海量数据层面上也具有可操作性,节省时间和技术人员的精力的微波交通数据采集设备的异常值检测方法。
本发明采用的技术方案是:
一种微波交通数据采集设备的异常值检测方法,其特征在于:包括:
(1)读取微波交通数据采集设备采集的数据,对同一维度的数据进行有效维度筛选,得到多维度有效数据;
(2)对多维度有效数据进行标准化处理;
(3)对标准化后的多维有效数据进行聚类,得到相应的聚类结果;
(4)对聚类结果中各个类别中的数据的表现进行判定,确定哪些类别的数据为异常数据。本发明针对交通采集设备微波所采集的数据特点,运用聚类算法对其多维度特征进行分类,达到异常值检测的效果。同时,在判断聚类类别是否为异常值时,需要运用交通理论的知识。
进一步,所述多维度有效数据包括车流量、车辆过车速度、车辆占有率。原始微波数据包含很多维度,但是有些维度如纪录自增ID对异常值检测起不了显著作用,而有些维度虽然有字段存在但是并没有采集到任何数据,这些维度都可以视为无效维度,剔除这些之后剩下的即有意义的维度,即车流量,车辆过车速度,车辆占有率。
进一步,步骤(2)中的标准化处理采用min-max标准化处理。筛选出有效维度之后,因为各个维度的取值范围不一,在进行聚类的时候会对结果造成不良影响,所以需要对数据进行标准化处理。在对数据进行min-max标准化处理之后,各个维度对结果都具有同等的解释作用。
进一步,步骤(3)聚类采用Kmeans聚类,具体步骤包括:
1)设定聚类类别数目k,需要聚类的类别数目需要事先确定,最后的结果会把所有原始数据点分为k个类别,而每个类别中的数据都具有相似性;
2)随机分配k个聚类中心,根据给定的数目k自生成k个聚类中心;
3)对每一数据点都计算其与所有聚类中心的欧式距离,然后把数据点分配给最近的聚类中心;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江银江智慧交通集团有限公司,未经浙江银江智慧交通集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810585465.6/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置