[发明专利]一种客流数据缺失填补的方法

说明书

本发明提供的客流数据缺失填补的方法，包括以下步骤：S1：获取原始数据集，若无缺失，则退出；S2：遍历数据集，判断缺失值的位置，更新当前连续缺失索引列表；S3：判断当前位置缺失列表长度，若不满足阈值ΔL，则跳到S5；S4：构建加权移动平均模型，对小比例缺失值填补，进入S6；S5：构建随机森林回归模型，对大比例缺失值填补；S6：若遍历完成则输出数据；否则更新数据集，返回S2。本发明采用一种更加符合时序数据的方法，尤其考虑数据在时间上的连续关系，做出更合理的填补，能够降低相应的填补误差。

技术领域

本发明移动通信、数据处理领域，更具体地，涉及一种客流数据缺失填补的方法。

背景技术

客流数据作为一种典型的时间序列数据，来源广泛，使用价值高。在当下的很多数据库应用中，由于在录入、存储、传输等环节中，经常会出现数据缺失的情况。数据质量的重要性是不言而喻的，而数据缺失问题会丢失大量信息，对后续挖掘分析造成很大的影响。

现有的数据填补方法少有考虑时间上的连续变化性，因此会造成很大的误差。并且现有方法没有考虑缺失值比例的影响，基本都采用一种方法做填补。对小比例的缺失填补，影响工作效率，对大比例的缺失填补，会影响准确度。

发明内容

为了解决现有技术中数据填补方法并无同时考虑时间上连续变化性和考虑时间上的连续变化性的问题，本发明提供了一种客流数据缺失填补的方法。

为解决上述技术问题，本发明的技术方案如下：

一种客流数据缺失填补的方法，包括以下步骤：

S1：获取原始数据集，判断数据集中是否存在数据缺失，若无缺失，则退出；

S2：遍历数据集，判断缺失值的位置，更新当前连续缺失索引列表；

S3：判断当前位置缺失列表长度，若不满足阈值ΔL，则跳到S5；

S4：构建加权移动平均模型，对小比例缺失值填补，进入S6；

S5：构建随机森林回归模型，对大比例缺失值填补；

S51：对数据集做预处理，构建相应的特征，组成训练样本；

S52：构建缺失填补模型，并训练模型；

S53：利用S52所得模型填补大比例缺失值；

S6：若遍历完成则输出数据；否则更新数据集，返回S2。

由于客流数据中的某段缺失，可能存在较短和较长的两种缺失情况，需要分别考虑，使用不同的方法进行填补。具有如下的优点：

对于长度较短的连续缺失，采用加权移动平均法，能够有效考虑非缺失值和缺失值在时间上的关系，并且此种方法简单易用，操作效率高。对于长度较长的缺失，加权移动平均法并不适用，因为缺失长度太大，不能较好的捕捉到非缺失与缺失之间的关系。而采用随机森林回归模型填补的方法，可以通过构造特征，捕捉到数据的统计分布、时序变化等特征，从而更加准确的完成长度较长的缺失填补工作。

在一种优选方案中，所述的原始数据集为某地的客流统计数据集，具体字段为Time：时间；Value：客流人数。

在一种优选方案中，所述的S2的具体步骤如下：从头开始遍历数据，当遇到缺失值时，将此缺失的索引添加到缺失列表中；若为连续缺失，则把连续缺失值的索引都添加到列表中。

在一种优选方案中，所述的S3的具体步骤如下：

S31：计算当前位置缺失对应的缺失列表长度为L；

S32：判断长度L，与阈值ΔL的关系；