[发明专利]一种交通数据质量提升的方法及装置

权利要求书

1.一种交通数据质量提升的方法，其特征在于，包括：

获取待处理的交通数据；

对所述待处理的交通数据进行识别，得到异常数据，所述异常数据包括缺失数据、错误数据和冗余数据；

采用K折交叉验证法对所述缺失数据进行补偿以及对错误数据进行修正；

根据数据的相似性，去除冗余数据；

所述采用K折交叉验证法对所述缺失数据进行补偿以及对错误数据进行修正，包括：

将所述缺失数据或错误数据分割成K个子样本集，其中一个子样本集为验证数据集，其它K-1个子样本集为训练数据集；

采用拓扑特征分析或邻近特征分析，将所述验证数据集和所述训练数据集交叉验证K次，将K次的验证结果进行平均得到补偿数据或修正数据。

2.如权利要求1所述的方法，其特征在于，所述采用拓扑特征分析，将所述验证数据集和所述训练数据集交叉验证，包括：

确定所述验证数据集或所述训练数据集的关注变量；

计算所述关注变量的特征值，所述特征值包括均值、中位数或差值；

根据所述关注变量的均值、中位数或差值，对所述验证数据集和所述训练数据集交叉验证。

3.如权利要求1所述的方法，其特征在于，所述采用邻近特征分析，将所述验证数据集和所述训练数据集交叉验证，包括：

确定所述验证数据集或所述训练数据集的关注变量；

计算所述关注变量的邻近数据的均值；

根据所述关注变量的邻近数据的均值，对所述验证数据集和所述训练数据集交叉验证。

4.如权利要求1所述的方法，其特征在于，所述根据数据的相似性，去除冗余数据，包括：

确定所述冗余数据的键以及与所述键对应的键值；

对于所述冗余数据中重复的键或键值，采用均值特征归纳，删除多余的键或键值。

5.一种交通数据质量提升的装置，其特征在于，包括：

获取单元，用于获取待处理的交通数据；

处理单元，用于对所述待处理的交通数据进行识别，得到异常数据，所述异常数据包括缺失数据、错误数据和冗余数据；采用K折交叉验证法对所述缺失数据进行补偿以及对错误数据进行修正；以及根据数据的相似性，去除冗余数据；

所述处理单元具体用于：

将所述缺失数据或错误数据分割成K个子样本集，其中一个子样本集为验证数据集，其它K-1个子样本集为训练数据集；

采用拓扑特征分析或邻近特征分析，将所述验证数据集和所述训练数据集交叉验证K次，将K次的验证结果进行平均得到补偿数据或修正数据。

6.如权利要求5所述的装置，其特征在于，所述处理单元具体用于：

确定所述验证数据集或所述训练数据集的关注变量；

计算所述关注变量的特征值，所述特征值包括均值、中位数或差值；

根据所述关注变量的均值、中位数或差值，对所述验证数据集和所述训练数据集交叉验证。

7.如权利要求5所述的装置，其特征在于，所述处理单元具体用于：

确定所述验证数据集或所述训练数据集的关注变量；

计算所述关注变量的邻近数据的均值；

根据所述关注变量的邻近数据的均值，对所述验证数据集和所述训练数据集交叉验证。

8.如权利要求5所述的装置，其特征在于，所述处理单元具体用于：

确定所述冗余数据的键以及与所述键对应的键值；

对于所述冗余数据中重复的键或键值，采用均值特征归纳，删除多余的键或键值。