[发明专利]一种用线性判别函数设计凸可分分类器的方法

摘要

本发明公开了一种用线性判别函数设计凸可分分类器的方法，依次包括以下步骤：输入两类数据向量样本集合X和Y；计算X中的每个点到Y的凸包的最近点，Y中的每个点到X的凸包的最近点，X关于Y的凸距离，Y关于X的凸距离，X和Y的凸距离以及X和Y的最佳凸可分方向；在区间(0，1]中选择参数γ，并根据X和Y的最佳凸可分方向，构造一组线性判别函数设计X和Y的凸可分分类器；本发明在解决凸可分分类问题时，不需要选择核函数，也不需要求解二次规划问题，编程实现容易，运行效率较高，泛化能力较强，而且能够明确判定两类数据向量样本集合是凸可分。

主权项

1、一种用线性判别函数设计凸可分分类器的方法，是利用计算机、投影仪和屏幕构建一个硬件设计平台，本发明特征在于，该设计方法依次包括以下步骤：步骤1；向计算机输入两类n维数据向量样本集合，根据两类集合的大小N和M以及维数分配两组数据存贮空间X＝{x_i，1≤i≤N}和Y＝{y_j，1≤j≤M}，把第一类样本的N个向量分别存贮在x_i(1≤i≤N)中，把第二类样本的M个向量分别存贮在y_j(1≤j≤M)中，其中x_i和y_j的每个分量可以是随机生成的数据、人工编写的数据或从物理实体上提取的特征数据；比如，在对某两种或多种植物设计凸可分分类器时，可以选取萼片长度、萼片宽度、花瓣长度和花瓣宽度这4个特征构成数据向量，x_i的4个分量分别表示一种植物样本的萼片长度、萼片宽度、花瓣长度和花瓣宽度，y_j的4个分量则分别表示另一种或另外多种植物样本的萼片长度、萼片宽度、花瓣长度和花瓣宽度；步骤2；对X中的任意向量样本x_i(1≤i≤N)，计算x_i与Y的凸包的最近点并存贮到数据空间v_i中；对Y中的任意向量样本y_j(1≤j≤M)，计算y_j与X的凸包的最近点并存贮到数据空间u_j中；具体步骤包括：步骤2.1；从Y中任意选择向量样本存贮到y^β中；步骤2.2；把y^β存贮到数据空间y^*中；步骤2.3；在Y中选择一个到x_i的距离最小的向量样本点，把它存贮到y^β中，这等价于使(x_i-y^β)·(x_i-y^β)的值最小；步骤2.4；如果x_i和y^β的距离大于等于x_i和y^＊的距离，或者(x_i-y^β)·(x_i-y^β)的值大于等于(x_i-y^＊)·(x_i-y^＊)的值，则在Y中重新选择向量y^μ≠y^＊，使得x_i到y^＊和y^μ连线的垂足y^β＝y^＊+μ·(y^μ-y^＊)在y^＊到y^μ的线段内，且x_i和y^β之间的距离最小，或者(x_i-y^β)·(x_i-y^β)的值最小；步骤2.5；如果x_i和y^＊的距离至少略大于x_i和y^β的距离，或者(x_i-y^＊)·(x_i-y^＊)-(x_i-y^β)·(x_i-y^β)的值大于等于ε(ε可取0.001等充分小的正数)，返回步骤2.2；步骤2.6；把y^β存贮到数据空间v_i中；步骤2.7；从X中任意选择向量样本存贮到x^α中；步骤2.8；把x^α存贮到x^*中；步骤2.9；在X中选择一个到y_j的距离最小的向量样本点，把它存贮到x^α中，这等价于使(y_j-x^α)·(y_j-x^α)的值最小；步骤2.10；如果y_j和x^α的距离大于等于y_j和x^*的距离，或者(y_j-x^α)·(y_j-x^α)的值大于等于(y_j-x^*)·(y_j-x^*)的值，则在X中重新选择向量x^λ≠x^*，使得y_j到x^＊和x^λ连线的垂足x^α＝x^＊+λ·(x^λ-x^＊)在x^＊到x^λ的线段内，且y_j和x^α之间的距离最小，或者(y_j-x^α)·(y_j-x^α)的值最小；步骤2.11；如果y_j和x^*的距离至少略大于y_j和x^α的距离，或者(y_j-x^*)·(y_j-x^*)-(y_j-x^α)·(y_j-x^α)的值大于等于ε(ε可取0.001等充分小的正数)，返回步骤2.8；步骤2.12；把x^α存贮到数据空间u_j中；步骤3；计算x_i与v_i的距离通过比较得到CD_XY[i]的最小值，把该最小值赋予变量CD_XY＝min{CD_XY[i]，1≤i≤N}，其中CD_XY称为X关于Y的凸距离；计算y_j与u_j的距离通过比较得到CD_YX[j]的最小值，把该最小值赋予变量CD_YX＝min{CD_YX[j]，1≤j≤M}，其中CD_YX称为Y关于X的凸距离；步骤4.如果CD_XY大于等于CD_YX，则把CD_XY存贮到数据空间BCD中，把+1存贮到数据空间BCSD中，即BCSD＝+1；否则把CD_YX存贮到数据空间BCD中，把-1存贮到数据空间BCSD中，即BCSD＝-1；其中BCD的值称为X和Y的凸距离，BCSD的值称为X和Y的最佳凸可分方向；BCSD＝+1表示“X关于Y”是最佳凸可分方向，BCSD＝-1表示“Y关于X”是最佳凸可分方向；步骤5；如果X和Y的凸距离BCD小于ε₁(ε₁可取0.01等充分小的正数)，则在计算机的显示器上输出“X和Y凸不可分的”，并通过投影仪将输出信息“X和Y凸不可分的”投影到屏幕上，同时终止其它设计步骤；否则，继续执行其它设计步骤；步骤6；在区间(0，1]中选择参数γ(一般取γ＝1)；根据BCSD代表的最佳凸可分方向，设计一组线性判别函数作为两类数据向量样本集X和Y的凸可分分类器；具体步骤包括：步骤6.1；如果BCSD＝+1，则把向量样本集合X＝{x_i，1≤i≤N}存贮到数据空间Z中，即Z＝X，然后执行下面的步骤：步骤6.1.1；执行赋值操作l＝1；步骤6.1.2；在Z中选择向量点x_m，使得CD_XY[m]最小，即CDXY[m]=mini{CDXY[i]=(xi-vi)·(xi-vi),1≤i≤N,xi∈Z};]]>步骤6.1.3；计算w_l＝(x_m-v_m)和把第l个线性判别函数设计为f_l(x)＝w_l·x+b_l；步骤6.1.4；从Z中删除所有满足条件f_l(x_i)≥γ·f_l(x_m)的向量点x_i，即把数据空间Z更新为：Z＝{x_i|f_l(x_i)＜γ·f_l(x_m)，x_i∈Z}；步骤6.1.5；如果Z中还存有数据，则执行赋值操作l＝l+1，返回步骤6.1.2；步骤6.2；如果BCSD＝-1，则把向量样本集合Y＝{y_j，1≤j≤M}存贮到数据空间Z中，即Z＝Y，然后执行下面的步骤：步骤6.2.1；执行赋值操作l＝1；步骤6.2.2；在Z中选择向量点y_m，使得CD_YX[m]最小，即CDYX[m]=minj{CDYX[j]=(yj-uj)·(yj-uj),1≤j≤M,yj∈Z};]]>步骤6.2.3；计算w_l＝(y_m-u_m)和把第l个线性判别函数设计为“f_l(x)＝w_l·x+b_l”；步骤6.2.4；从Z中删除所有满足条件f_l(y_j)≥γ·f_l(y_m)的向量点y_j，即把数据空间Z更新为：Z＝{y_j|f_l(y_j)＜γ·f_l(y_m)，y_j∈Z}；步骤6.2.5；如果Z中还存有数据，则执行赋值操作l＝l+1，返回步骤6.2.2；步骤6.3；把l的当前值存贮在变量L中，L表示X和Y的凸可分分类器中包含的线性判别函数的个数；步骤7；在计算机上的显示器上输出X和Y的凸可分分类器，即：f_l(x)＝w_l·x+f_l(1≤l≤L)，并把输出结果通过投影仪投影到屏幕上。