[发明专利]基于相关向量机的多类数据分类方法

摘要

本发明提出了一种基于相关向量机的多类数据分类方法，主要解决现有多类数据分类方法不能整体求解分类面参数或需要近似计算的问题。其实现过程是：划分多类数据集，并进行归一化预处理；确定核函数类型和核参数；设置基本参数；计算分类面参数；计算对数下界并求其变化值，把迭代数加1；若对数下界变化值收敛或迭代数达到迭代次数，则完成分类面参数更新，否则继续更新；根据更新完成后的分类面参数，得预测概率矩阵，矩阵每行最大值对应的列数组成测试数据集的分类类别，预测概率小于虚警概率与检测概率对应曲线中设定的虚警概率值的样本被据判。本发明具有用较少的关联向量，得到与SVM相比拟的分类及拒判性能的优点，可用于目标识别中。

主权项

1.一种基于相关向量机的多类数据分类方法，包括如下步骤：(1)将多类数据集划分成交叉验证数据集V、训练数据集R和测试数据集T，并对其进行归一化预处理，使数据的不同特征在同一尺度上；(2)确定相关向量机的核函数类型，根据归一化预处理后的交叉验证数据集V′确定该相关向量机的核参数；(3)基本参数设置；(3a)设置相关向量机的迭代次数L＝100、迭代数l₀＝0、收敛阈值σ＝10^-6；(3b)设置权值参数矩阵W＝[w₁，L，w_k，L，w_K]中w_k先验分布的均值是零向量、方差是(diag(α_k))^-1的高斯分布，其中权值方差向量α_k的每个元素α_mk服从形状参数a₀＝10^-6、尺度参数b₀＝10^-6的伽马分布，diag(α_k)表示对角矩阵，即对角线元素为向量α_k，其余元素为零的矩阵，()^-1表示矩阵求逆，k＝1，L，K，K为类别数，m＝1，L，M，M为归一化预处理后训练数据集R′的映射矩阵的行数；(3c)设置噪声参数ε_n服从均值为零、方差为的高斯先验分布，其中噪声准确度参数τ_n服从形状参数c₀＝10^-6、尺度参数d₀＝10^-6的伽马分布，n＝1，L，N，N为训练数据集R的样本数；(4)根据归一化预处理后的训练数据集R′、核函数类型、核参数和(3)中设置的基本参数，利用如下分类面参数更新公式计算相关向量机的分类面参数：S_n＝<τ_n>^-1I_K；∑_k＝(diag(<α_k>)+Φ^Tdiag(<τ>)Φ)^-1，μ_k＝∑_kΦ^Tdiag(<τ>)<y_k>；cn=c0+K2,]]>其中，m_n是隐变量向量y_n后验分布的均值向量，是归一化预处理后训练数据集R′的映射矩阵Φ的第n行，<W>表示权值参数矩阵W的后验期望，S_n是隐变量向量y_n后验分布的协方差矩阵，<τ_n>^-1是噪声准确度参数后验期望的倒数，I_K表示K阶单位矩阵，n＝1，L，N，N为训练数据集R的样本数；∑_k是权值参数向量w_k后验分布的协方差矩阵，<α_k>表示权值方差向量α_k的后验期望，diag为数学函数符号，diag(<α_k>)表示对角矩阵，即对角线元素为向量<α_k>，其余元素为零的矩阵，Φ是归一化预处理后的训练数据集R′的映射矩阵，Φ^T表示Φ的转置，<τ>表示所有训练样本噪声准确度参数构造向量τ＝[τ₁，L，τ_n，L，τ_N]的后验期望，diag(<τ>)表示对角矩阵，即对角线元素为向量<τ>，其余元素为零的矩阵，()^-1表示矩阵的求逆，μ_k是权值参数向量w_k后验分布的均值向量，<y_k>是隐变量矩阵Y的第k列的后验期望，k＝1，L，K，K为类别数；分别是权值方差中元素α_mk后验分布的形状参数和尺度参数，a₀、b₀分别是权值方差中元素α_mk先验分布的形状参数和尺度参数，是权值参数w_mk平方后的后验期望；c_n、d_n分别是噪声准确度参数τ_n后验分布的形状参数和尺度参数，c₀、d₀分别是噪声准确度参数τ_n先验分布的形状参数和尺度参数，K是类别数，是隐变量矩阵Y的第n行k列元素平方后的后验期望，<y_nk>是隐变量矩阵Y的第n行k列元素的后验期望，是归一化预处理后的训练数据集R′的映射矩阵Φ的第n行，<w_k>表示权值参数向量w_k的后验期望，表示权值参数向量w_k与其转置相乘后的后验期望；(5)根据相关向量机的分类面参数，计算似然函数的对数下界，并以此求出对数下界的变化值，并将迭代数更新为l₀＝l₀+1；(6)若对数下界的变化值收敛到σ或迭代数l₀达到迭代次数L，则完成相关向量机的分类面参数更新，否则由当前相关向量机的分类面参数依次更新得到相关向量机的分类面参数，返回(5)继续；(7)根据更新完成后的相关向量机的分类面参数，得归一化预处理后的测试数据集T′的预测概率矩阵P，预测概率矩阵P每行最大值所对应的列数形成一列向量，此列向量即是测试数据集T的分类类别；根据预测概率矩阵P绘制测试数据集T的虚警概率和检测概率对应曲线ROC，由要求的漏警概率和虚警概率代价比设定一虚警概率值，若样本的预测概率小于此设定的虚警概率值则据判此样本。