[发明专利]一种支持向量预测的知识发现算法

说明书

本发明公开了一种支持向量预测的知识发现算法，包括以下步骤：S1、获取初始样本集，初始化参数；S2、通过对样本集进行训练得到RVM预测模型；S3、计算每个样本的样本标签、局部密度因子和误差因子；S4、根据RVM预测模型对即将输入的未来样本进行预测；S5、降序排列样本特性向量并进行循环，若非相关向量次数超过设定的阈值，则从样本集中删除该样本，跳出循环；S6、判断是否还有输入的新样本，若有新样本，则加入新样本，形成新的样本集，转到步骤S2；若没有新样本，则输出预测的未来样本。本发明通过引入样本标签的概念，具有更高的预测精度，向量预测时间花费短，可广泛应用于实时数据的处理和预测中。

技术领域

本发明涉及机器学习领域，特别涉及一种支持向量预测的知识发现算法。

背景技术

经典的批处理相关向量回归增量学习算法(IRVR)在增量学习过程中，每次加入新样本，都对历史样本集进行重新训练，没有淘汰策略，这样随着样本数量的增大，训练的时间以及复杂度也会不断增加；传统相关向量回归增量学习算法(KIRVR)，即基于固定宽度滑动窗口的相关向量回归增量学习算法，在增量学习过程中，每加入一次新样本，都会删除首样本，然后对样本集重新进行训练，虽然这样能减少训练时间以及复杂度，但是无选择性地删除首样本会导致样本有效信息的丢失。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种支持向量预测的知识发现算法，具有预测精度更高，且时间复杂度更低的算法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明提供一种支持向量预测的知识发现算法，包括以下步骤：

S1、获取初始样本集，初始化参数；

S2、通过对样本集进行训练得到RVM预测模型；

S3、计算每个样本的样本标签、局部密度因子和误差因子；

S4、根据RVM预测模型对即将输入的未来样本进行预测；

S5、统计样本的非相关向量次数，对局部密度因子和误差因子进行加权，得到样本特性向量；对样本特性向量降序排列，并对排序后的序列进行循环，若非相关向量次数超过设定的阈值，则从样本集中删除该样本，跳出循环；

S6、判断是否还有输入的新样本，若有新样本，则加入新样本，形成新的样本集，转到步骤S2；若没有新样本，则输出预测的未来样本。

作为本发明的一种优选技术方案，本发明的算法执行完步骤S3后，还包括：根据RVM预测模型对未来样本进行预测，得到预测结果。

作为本发明的一种优选技术方案，本发明的步骤S1的具体方法为：

首先初始化阈值l，用于作后面样本非相关向量次数是否超过阈值的比较；初始化局部密因子权重和误差因子权重，用于后面对密度因子和误差因子进行加权计算样本特性向量。

作为本发明的一种优选技术方案，本发明的步骤S2的方法具体为：

S21、根据相关向量回归理论，令样本训练集目标值tn相互独立分布，输入值xn是独立分布样本，则有：

tn＝y(xn；w)+ξn

其中，ξn为附加噪声，且满足如下高斯分布：ξn～N(0,σ²)；w是由wi组成的权重向量，即w＝[w1,w2,...wN]^T；初始样本集为T，样本(xi,yi)的样本标签为l(xi)、局部密度因子为pi，误差因子为qi；

RVM为每一个模型权重wi定义自动相关测定先验概率以控制模型复杂度，wi先验概率分布如下：p(wi|αi)＝N(0,αi^-1)，则其中α＝(α0,α1,...αN)是超参数所组成的向量；