[发明专利]一种用于在线学习的样本集训练方法

说明书

技术领域

本发明属于在线学习技术领域，涉及一种用于在线学习的样本集训练方法。

背景技术

在互联网领域，数据集是随着时间的推移不断产生的，所以在完整的数据集上进行机器学习是个几乎不可能的事情，这就需要学习器能够不断地进行学习，而传统的机器学习方法已经无法满足这一要求，在线学习就是针对上述情况应运而生的。

支持向量机作为机器学习领域的一个重要研究分支，因为自身完善的数学理论和良好的实际应用效果，目前在很多领域都获得了应用。但传统的支持向量机属于性能稳定的分类器，有“灾难性遗忘”缺陷，所以是无法进行在线学习的。

本发明针对支持向量机的上述缺陷，提出了新的方法，使支持向量机不仅能支持在线学习，而且还可有效减少支持向量机的训练时间。

发明内容

本发明的目的是针对现有技术的不足，提供一种用于在线学习的样本集训练方法，使支持向量机能克服自身缺陷，从而更好地应用于在线学习领域。

本发明为解决上述技术问题所采用的技术方案如下：

步骤(1)准备一个初始样本集S，并将其分成K个样本子集S_k，其中k=1,2,…,K。每个样本子集S_k有m个样本(x_i,y_i)，i=1,2,…,m，并且都需要进行T_k次迭代。

步骤(2)针对每个样本子集S_k，按照下列步骤依次进行T_k次迭代：

步骤(2.1)对样本子集S_k的样本权值进行初始化，其中权值w₁(i)＝D₁(i)＝1/m。

步骤(2.2)设t的初始值为1，执行完下列步骤后t值自加一，直至t值大于T_k。

步骤(2.2.1)对样本权值w_t进行归一化，建立分布

步骤(2.2.2)根据分布D_t随机选择训练集TR_t和测试集TE_t。利用Qhull算法求取训练集TR_t的壳向量集其中并将其作为新的训练集。

步骤(2.2.3)在训练集上训练支持向量机，得到支持向量机h_t:X→Y。

步骤(2.2.4)计算支持向量机h_t在训练集TR_t和测试集TE_t上的错误率：

ϵt=Σi:ht(xi)≠yiDi(i)onTRt+TEt;]]>

如果ε_t＞1/2，则令t=t-1，删除支持向量机h_t，跳转到步骤(2.2.2)；否则计算正规化错误率：β_t＝ε_t/(1-ε_t)。

步骤(2.2.5)通过权重投票方式产生集成的支持向量机H_t：