[发明专利]一种基于RReliefF算法和支持向量回归的趋势预测方法

说明书

本发明涉及基于RReliefF算法和支持向量回归的趋势预测方法属于机器学习和数据挖掘领域，其特征在于采用如下步骤：(1)确定类别样本I₁，I₂对特征属性T的差异程度S；(2)更新质量估计权值W[T]；(3)确定特征属性T(t₁，t₂，...，t_s)；(4)训练支持向量回归模型，求解f(x)；(5)将测试集样本作为输入，利用RReliefF算法选取特征向量并输入支持向量回归模型中进行预测，得到预测结果。本发明所建立的基于RReliefF算法和支持向量回归的趋势预测方法，用RReliefF算法进行特征提取，并将其作为支持向量回归模型的输入进行训练，实现了数值预测。通过多组数据实验结果可知，相比于其他模型相比，本发明训练时间更短并且预测精度相对较高，为趋势预测提供了在保证了预测精度的基础上增加模型的训练速度的预测方法。

技术领域

本发明涉及机器学习与数据挖掘领域，主要是一种数值趋势预测方法。

背景技术

目前针对数值趋势预测问题，大多数模型可以达到很高的预测精度，但是模型过于复杂导致训练时间过长。有些模型虽然训练数据较快，但是在模型训练选取数据特征的时候，往往需要经过一些复杂的计算评估流程。在数值趋势预测中，特征数量比较多，其中可能存在不相关的特征，特征之间也可能存在相关性，这容易导致“维度灾难”，使其模型推广能力下降，或者导致模型可能出现不适定的情况，即模型训练得到的参数会因为样本的微小变化而出现较大的波动，因此在特征选择的过程中，大多数模型在特征选择方面进行复杂化，这就导致模型训练时间过长，复杂度升高，降低了模型效果。例如，利用遗传算法进行特征选取的时候，首先需要随机产生一批特征子集，并用评价函数给这些特征子集评分，然后通过交叉、突变等操作繁殖出下一代的特征子集，选取评分越高的特征子集参加繁殖。这样经过N代的繁殖和优胜劣汰后，才能得到评价函数值最高的特征子集，这样虽然可以达到较高的预测精度，但是算法流程过于复杂，在一定程度上降低了模型效率。

我国在数值预测方面也取得了一些丰富成果。例如，利用深度学习在电力负荷、交通流量、空气质量等方面实现了较好的数值预测。随着计算机互联网的飞速发展以及海量数据的指数级增长，对模型的特征选择以及预测速度提出了更高的要求。因此，要实现准确、高效地对某些领域的数值进行预测，达到数值预测的要求，必须建立一种简单、高效的数值趋势预测方法，进一步简化模型的训练流程，提高模型的运行速度，使得模型预测速度更快，为我国经济和商业等领域提供一种精准、高效的数值趋势预测方式，为未来的发展和管理提供指导性意见。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种简单、高效的数值趋势预测方法，其具体流程如图1所示。

技术方案实施步骤如下：

(1)确定类别样本I₁，I₂对特征属性T的差异程度S：

式中，value(T，I₁)和value(T，I₂)分别表示具有属性值T的类别样本I₁，I₂的判别值。

(2)更新质量估计权值W[T]：

其中，

P_difA＝P(difvalue(A)|相近的样本)

P_difC＝P(difprediction|相近的样本)，

P_difC|difA＝P((difprediction|difvalue(A))相近的样本)