[发明专利]一种AdaBoost算法中的强分类器的构建方法

摘要

本发明公开了一种AdaBoost算法中的强分类器的构建方法，其构建用于代表带权重训练样本矩阵中的每列中的每个特征与样本标记之间映射关系的矛盾方程组；利用最小二乘法解矛盾方程组的矩阵形式，进而确定用于代表特征与样本标记之间映射关系的拟合多项式函数；将带权重训练样本矩阵中的每列中的每个特征的值代入拟合多项式函数中，得到对应的拟合值；比较每列对应的拟合值向量与样本标记向量，得到每列的拟合误差，并将最小拟合误差对应的一列相应的拟合多项式函数作为最佳弱分类器；根据以往得到的最佳弱分类器构建当前的强分类器，再通过计算当前的强分类器的分类误差，确定是否再迭代寻优；优点是构建过程中收敛速度快，且构建的强分类器的分类精度高。

主权项

1.一种AdaBoost算法中的强分类器的构建方法，其特征在于包括以下步骤：步骤一：给定一个训练样本矩阵，记为并给定与对应的样本标记向量，记为G，其中，的维数为m×n，G的维数为m×1，m表示中包含的训练样本的总个数，m为正整数，m≥2，i为正整数，i的初始值为1，1≤i≤m，n表示中的每个训练样本中包含的特征的总个数，n为正整数，n≥1，j为正整数，j的初始值为1，1≤j≤n，对应表示中的第1个训练样本、第2个训练样本、第i个训练样本、第m个训练样本，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，上述特征的值均为实数，g₁表示中的所有特征的样本标记，g₂表示中的所有特征的样本标记，g_i表示中的所有特征的样本标记，g_m表示中的所有特征的样本标记，上述样本标记的值为+1或‑1；步骤二：获取第t次强分类器寻优所使用的带权重训练样本矩阵，记为X^(t)，其中，t表示强分类器寻优的次数，t为正整数，t的初始值为1，对应表示X^(t)中的第1个训练样本、第2个训练样本、第i个训练样本、第m个训练样本，当t＝1时即为即为即为即为当t＞1时对应表示第t‑1次强分类器寻优所使用的带权重训练样本矩阵X^(t‑1)中的第1个训练样本、第2个训练样本、第i个训练样本、第m个训练样本，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，当t＝1时即为即为即为即为当t＞1时对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，当t＝1时即为即为即为即为当t＞1时对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，当t＝1时即为即为即为即为当t＞1时对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，当t＝1时即为即为即为即为当t＞1时对应表示中的第1个特征、第2个特征、第j个特征、第n个特征，上述特征的值均为实数，表示第t次强分类器寻优过程中的权重，表示第t次强分类器寻优过程中的权重，表示第t次强分类器寻优过程中的权重，表示第t次强分类器寻优过程中的权重，当t＝1时步骤三：将X^(t)中当前待处理的第j列定义为当前列；步骤四：构建一个用于代表当前列中的每个特征与对应的样本标记之间映射关系的矛盾方程组，描述为：然后将该矛盾方程组转换为矩阵形式，描述为：接着令并令则有再利用最小二乘法求解得到A的唯一解，记为其中，k为整数，k的初始值为0，0≤k≤L，L为正整数，L≥1，α₀、α₁、α₂、α_k、α_L均为系数，为的平方，为的k次方，为的L次方，为α₀的唯一解，为α₁的唯一解，为α₂的唯一解，为α_k的唯一解，为α_L的唯一解；步骤五：根据确定用于代表X^(t)中的特征与对应的样本标记之间映射关系的拟合多项式函数，描述为：然后将当前列中的每个特征的值代入中进行求解，若求解得到的值大于0，则将用于代表该特征与对应的样本标记之间映射关系的拟合值确定为+1；若求解得到的值小于或等于0，则将用于代表该特征与对应的样本标记之间映射关系的拟合值确定为‑1；再将当前列对应的所有拟合值构成列向量，记为F，其中，f()为拟合多项式函数表示形式，f₁表示用于代表与g₁之间映射关系的拟合值，f₂表示用于代表与g₂之间映射关系的拟合值，f_i表示用于代表与g_i之间映射关系的拟合值，f_m表示用于代表与g_m之间映射关系的拟合值；步骤六：计算当前列的拟合误差，记为err_j，其中，[f_i≠g_i]为指示函数，若f_i≠g_i则[f_i≠g_i]返回值1，若f_i＝g_i则[f_i≠g_i]返回值0；步骤七：令j＝j+1，将X^(t)中待处理的下一列作为当前列，然后返回步骤四继续执行，直至X^(t)中的所有列处理完毕，得到X^(t)中的每列的拟合误差；再将n个拟合误差中值最小的拟合误差记为ε^(t)，并将ε^(t)对应的一列相应的拟合多项式函数作为第t次强分类器寻优过程中的最佳弱分类器，记为h^(t)(x)；其中，j＝j+1中的“＝”为赋值符号，x为输入变量；步骤八：构建第t次强分类器寻优过程中得到的强分类器，记为Q^(t)(x)，其中，t'为正整数，t'的初始值为1，h^(t'⁾(x)为第t'次强分类器寻优过程中的最佳弱分类器，β^(t'⁾表示h^(t'⁾(x)的权重，ε^(t'⁾表示第t'次强分类器寻优过程中的n个拟合误差中值最小的拟合误差；步骤九：使t'自1变化至t，将ε^(t'⁾对应的一列中的每个特征的值作为输入，代入中进行求解，若求解得到Q^(t)(x)的值大于0，则将Q^(t)(x)的值重置为+1；若求解得到Q^(t)(x)的值小于或等于0，则将Q^(t)(x)的值重置为‑1；再将得到的重置值按序构成列向量，描述为其中，q₁表示ε^(t'⁾对应的一列中的第1个特征的值代入中进行求解得到Q^(t)(x)的值的重置值，q₂表示ε^(t'⁾对应的一列中的第2个特征的值代入中进行求解得到Q^(t)(x)的值的重置值，q_i表示ε^(t'⁾对应的一列中的第i个特征的值代入中进行求解得到Q^(t)(x)的值的重置值，q_m表示ε^(t')对应的一列中的第m个特征的值代入中进行求解得到Q^(t)(x)的值的重置值；步骤十：计算第t次强分类器寻优过程中得到的分类误差，记为其中，[q_i≠g_i]为指示函数，若q_i≠g_i则[q_i≠g_i]返回值1，若q_i＝g_i则[q_i≠g_i]返回值0；步骤十一：将作为第t次强分类器寻优过程中得到的强分类器的评估指标，判断是否成立，如果成立，则将t次强分类器寻优过程中的最佳弱分类器组合成最终的强分类器，记为Q^final(x)，Q^final(x)＝sign(Q^(t)(x))；否则，执行步骤十二；其中，err_final为设定的评估阈值，sign()为符号函数，步骤十二：计算第t+1次强分类器寻优过程中X^(t)中的每个训练样本的权重，将第t+1次强分类器寻优过程中的权重记为然后令t＝t+1，再返回步骤二继续执行；其中，exp()表示以自然基数e为底的指数函数，β^(t)表示h^(t)(x)的权重，Z^(t)表示归一化常数因子，t＝t+1中的“＝”为赋值符号。