[发明专利]对资源消耗量进行预测的数据处理方法

权利要求书

1.一种对资源消耗量进行预测的数据处理方法，其特征在于，包括如下步 骤：

(1)从数据库中抽取以用户为单位连续时段的资源消耗量基础数据，将资 源消耗量基础数据导入大数据平台的文件系统，得到基础分析数据；

(2)读取所述基础分析数据，统计数据不完整和资源消耗为0的时间序列 分布；

(3)对步骤(2)输出序列进行数据特征的感知，包括：判断序列是否具 有周期特征、记录序列波动中的奇异点位置、检验序列是否稳定；

(4)基于步骤(3)特征感知的结果，做如下处理：针对序列波动中的奇 异点进行平滑处理；对检验不稳定的序列进行差分处理，每差分一次，再次检 验序列是否稳定，如果不合要求，再进行差分，找到差分稳定序列类型或者差 分不超过d次；

(5)根据步骤(4)输出结果，选择合适的预测算法模型进行预测；具体 操作如下：

(5-1)具有周期且波动较小的特征序列，使用ARIMA算法模型进行预测；

(5-2)具有周期性但数据不稳定的特征序列，使用HoltWinters指数平滑 算法模型进行预测；

(5-3)周期性不明确，且数据不稳定的特征序列，使用灰色算法模型进行预测。

2.根据权利要求1所述的对资源消耗量进行预测的数据处理方法，其特征 在于：

所述步骤(2)中，读取所述基础分析数据，统计数据不完整和资源消耗为 0的时间序列分布，具体方法包括：

(2-1)以大比例空值结尾的时间序列，做销户序列，该类序列直接删除；

(2-2)以大比例空值开始的时间序列，做新增用户序列，该类序列直接加 和；

(2-3)间隔出现少量空值的时间序列，空值前，连续拥有大于等于5个数 时，采用GM算法预测填充空值；

(2-4)间隔出现少量空值的时间序列，空值前，连续数值小于5时，采用平移 办法填充空值。

3.根据权利要求1或2所述的对资源消耗量进行预测的数据处理方法，其特征 在于：所述步骤(3)中判断序列是否具有周期特征的方法为：使用傅里叶变换 获得数据的周期特征，调用R语言中的傅里叶变换函数，获得频域数据结果， 得到极大值点的位置e，该序列的周期为f＝|n/(e-1)|，式中n为该序列长度；当 f结果为1时，该序列无周期特征。

4.根据权利要求1或2所述的对资源消耗量进行预测的数据处理方法，其特征 在于：所述步骤(3)中记录序列波动中的奇异点位置的方法为：根据公式：V＝ SD/E，V为变异系数、SD为标准差、E为均值，计算该序列的变异系数，并存储 结果；判断序列值di/E>＝m或者di/E<＝1/m，m为设定常数，记录序列中的 奇异点位置i。

5.根据权利要求1或2所述的对资源消耗量进行预测的数据处理方法，其特征 在于：所述步骤(3)中检验序列是否稳定的方法为：调用R语言中的单位根检 验函数adf.test()计算获得序列的p值，如果p<0.01认为该序列稳定。

6.根据权利要求4所述的对资源消耗量进行预测的数据处理方法，其特征在于： 所述步骤(4)中，采用滤波算法进行奇异点的平滑处理，滤波算法为用整体序 列的均值或者异常点前后3个正常值的均值进行替换，dk为奇异点，dk＝(dk-2+ dk-1+dk+1)/3，dk-2、dk-1、dk+1为dk的三个相邻值。

7.根据权利要求5所述的对资源消耗量进行预测的数据处理方法，其特征在于： 所述步骤(4)中，采用R语言中的diff()函数对检验不稳定的序列进行差分处 理。

8.根据权利要求1所述的对资源消耗量进行预测的数据处理方法，其特征在于： 所述步骤(5-1)具体为：将满足要求的序列数据分别放入R语言中的自相关函 数acf()和片自相关函数pacf()中，根据规则训练出参数p和q，在根据稳定性 检验的差分次数d，将参数放入函数arima(q,d,p)中，进行计算获得预测结果。