[发明专利]一种正则化RBF网络多标签分类方法

摘要

本发明公开了一种正则化RBF网络多标签分类方法，属于多标签分类技术领域。采用的技术方案为(1)构造RBF网络，包括构造网络输入层结点、隐藏层结点、输出层结点；(2)用训练数据训练RBF网络；(3)利用RBF网络预测标签。本发明方法在对多标签分类算法的设计中，利用正则化技巧，聚类速度快、泛化性能好，能够有效增强RBF网络的泛化性能。

主权项

一种正则化RBF网络多标签分类方法，其特征在于，包括以下步骤：步骤1：构建RBF网络；包括构造网络的输入层结点、隐藏层结点及输出层结点；输入层结点，由n个结点组成，每一个结点对应输入样本向量的一个特征；隐藏层结点，依次对多标签数据集对应的标签集中的每一个标签l的正样本集Ul进行聚类，聚类之后得到k＝α·|Ul|个聚类中心，α为常量参数；所有的标签聚类形成的聚类中心构成了径向基函数RBF的隐藏层结点；输出层结点，由q个结点组成，每一个输出层结点都是一个潜在的输出标签；所述的RBF网络构建，具体包括以下步骤：1)设或者表示维度为n的样本空间；其中，表示维度为n的实数空间，表示维度为n的复数空间；表示具有q个可能的类标签的标签空间，多标签训练集为：包含m个样本数据，是一个n维的特征向量，是与xi相对应的标签集；网络的输入层由n个结点组成，用于将n维的样本xi输入网络；2)对标签空间中的每一个标签yl的正样本集Ul进行聚类，具体包括以下步骤：(1)标签集合中的每一个标签yl，找出正样本集合Ul＝{xj|(xj,Yj)∈D,yjl∈Yj，yjl＞0}；其中，(xj,Yj)为多标签训练集中的一个样本，是一个n维的特征向量，是与xj相对应的标签集，yjl是集合Yj的一个元素；(2)利用SOM聚类法，对正样本集合Ul聚类，聚类之后得到k个聚类中心，k＝α·|Ul|，α为常量参数，形成聚类中心为向量cl，cl＝{cl1,…,clk}；(3)重复步骤(1)和(2)，直至标签集中的每一个标签对应的正样本集合都聚类产生聚类中心，并将这些聚类中心合并，得到网络隐藏层结点为向量c，c＝{c1,…,cl,…,cq}，隐藏层结点数量为L，3)标签空间的维度为q，网络的输出层结点由q个结点组成，一个输出结点对应标签空间中的一个标签，则网络输出为向量f：向量f＝[f1,f2,...,fq]；向量f的每一个分量值fl对应网络的一个输出结点的输出值；步骤2：用训练数据训练RBF网络；建立带正则项的RBF网络多标签分类模型，选取公开多标签数据集，选择其中的一部分作为训练数据集，对RBF网络多标签分类器进行正则参数寻优，得到连接隐藏层和输出层的权值矩阵；具体包括以下步骤：1)对于样本xj，是一个n维的特征向量，RBF网络输出层的第l个输出结点，其输出值fl形式化的定义如下：fl(xj)=Σi=1Lβilφi(xj,ci)---(1)]]>设：β为连接隐藏层和输出层的权值矩阵，βil为矩阵β的第i行第l列元素，L为网络的隐藏层结点数量，m为多标签训练集的总训练样本数量；φi(xj，ci)为RBF网络的隐藏层结点ci在网络输入样本为xj时，隐藏层结点ci的输出函数值；RBF网络的隐藏层函数采用高斯函数作为径向基函数，则φi(xj，ci)函数形式化的定义如下：φi(xj,ci)=exp(-12σ2||xj-ci||2)---(4)]]>其中，ci为径向基函数φi(·)的中心，即RBF网络隐藏层结点，σ称为径向基函数的扩展常数，反应函数图像的宽度，通过计算每对网络隐藏层结点之间的距离来获得，形式化的定义为：σ=μ×(Σt=1L-1Σh=t+1L||ct-ch||L(L-1)2)---(5)]]>其中，μ为调节参数，为网络的隐藏层结点数量，ct和ch为网络隐藏层结点；则，RBF网络输出向量f＝[f1,f2,...,fq]形式化的定义为：f＝Hβ    (6)向量f的每一个分量值fl为网络的一个输出结点的输出值；2)最小化网络输出误差值，如下式：E=Σj=1m||f-T||+λΩ(f)---(7)]]>其中，T为多标签训练集的m个训练样本的目标标签矩阵，f为RBF网络输出向量，λΩ(f)为正则项，λ为正则参数；则有，最小化等价于：minw(||Hβ‑T||+λβ)    (8)利用岭回归的方法求解，隐藏层和输出层的权值矩阵β表示为：β＝(HTH+λI)‑1HTT    (9)；其中，I为单位矩阵；3)选取若干个公开多标签数据集，利用每个多标签数据集的训练数据集训练RBF网络，寻找RBF网络多标签分类器在每一个数据集上的最优正则化参数λ，优化得到连接隐藏层和输出层的权值矩阵β；步骤3：利用RBF网络预测标签；对于RBF网络的输出层结点，设定常量0为阈值；利用连接隐藏层和输出层的权值矩阵值，得出网络中每个结点的输出值，比较每个结点输出值与阈值0的大小关系，大于阈值0的作为样本的潜在标签，实现多标签分类；RBF网络多标签分类器预测的标签为标签集h(xi)：其中，xi为多标签数据集的第i个样本，是一个n维的特征向量，yl为标签空间中的一个标签，fl为网络的一个输出结点的输出值，t(xi)为阈值函数，设为常量0；比较fl和0的大小，若大于0，则标签yl为xi的潜在的一个标签。