[发明专利]一种用于在线学习的样本集训练方法

摘要

本发明公开了一种用于在线学习的样本集训练方法。该方法将初始样本集划分成若干个样本子集，再将每个样本子集根据权重分布随机划分成训练集和测试集。对于训练集，先求取壳向量集，并将其作为新的训练集来进行支持向量机的训练。若生成的支持向量机不满足收敛条件，则丢弃该支持向量机并重新训练。最后将所有支持向量机利用权重投票方式产生一个集成的支持向量机。本发明在样本集上引入了一定的随机性，从而间接地提高了支持向量机的多样性，使得集成后的支持向量机能克服自身“灾难性遗忘”缺陷，起到支持在线学习的目的。同时在不影响分类精度的情况下，还能大幅减少支持向量机的训练时间。

主权项

1.一种用于在线学习的样本集训练方法，其特征在于该方法包括以下步骤：步骤(1)准备一个初始样本集S，并将其分成K个样本子集S_k，其中k=1,2,…,K；每个样本子集S_k有m个样本(x_i,y_i)，i=1,2,…,m，并且都需要进行T_k次迭代；步骤(2)针对每个样本子集S_k，按照下列步骤依次进行T_k次迭代：步骤(2.1)对样本子集S_k的样本权值进行初始化，其中权值w₁(i)＝D₁(i)＝1/m；步骤(2.2)设t的初始值为1，执行完下列步骤后t值自加一，直至t值大于T_k；步骤(2.2.1)对样本权值w_t进行归一化，建立分布步骤(2.2.2)根据分布D_t随机选择训练集TR_t和测试集TE_t；利用Qhull算法求取训练集TR_t的壳向量集其中并将其作为新的训练集；步骤(2.2.3)在训练集上训练支持向量机，得到支持向量机h_t:X→Y；步骤(2.2.4)计算支持向量机h_t在训练集TR_t和测试集TE_t上的错误率：ϵt=Σi:ht(xi)≠yiDi(i)onTRt+TEt;]]>如果ε_t＞1/2，则令t=t-1，删除支持向量机h_t，跳转到步骤(2.2.2)；否则计算正规化错误率：β_t＝ε_t/(1-ε_t)；步骤(2.2.5)通过权重投票方式产生集成的支持向量机H_t：Ht=argmaxy∈YΣt:ht(x)=ylog(1/βt);]]>并计算集成误差Et=Σi:Ht(xi)≠yiDt(i)=Σi=1mDt(i)[|Ht(xi)≠yi|];]]>如果E_t＞1/2，删除此集成的支持向量机H_t，并令t=t-1，跳转到步骤(2.2.2)；步骤(2.2.6)设集成正规化错误率B_t＝E_t/(1-E_t)，修改样本子集中样本的权值:步骤(3)将所有集成的支持向量机H_t采用权重投票的方式产生最终输出：Hfinal=argmaxy∈YΣk=1KΣt:Ht(x)=ylog(1βt).]]>