[发明专利]一种基于微调条件概率的分类数据转换方法

权利要求书

1.一种基于微调条件概率的分类数据转换方法，其特征在于，包括：

S1、分类数据的数据采集；

S2、数据预处理，清洗分类数据中的缺失数据，噪音数据，以及无效数据；

S3、条件概率计算，将清洗以后的分类数据转换为数值向量；

S4、微调条件概率，对步骤S3中转换后的数值向量进行数值微调；

S5、分类数据的数值嵌入，对步骤S4中进行数值微调以后的数值向量，采用原始的分类数据嵌入或映射为数值数据；

其中步骤S2和S3具体包括：

X是一个包含N个样本的分类数据集，每个样本由一个m维的向量[a₁(x),…,a_m(x)]表示，其中a_i(x)是样本x的第i属性的分类值，此外，X的类标签为条件概率计算首先提取每个分类属性A_i和类标签C中的数据，然后计算属性A_i内每个分类值a_i(x)的条件概率，并生成如下的l维数值向量：

a_i(x)→[P(c₁|a_i(x)),…,P(c_j|a_i(x)),…,P(c_l|a_i(x))] (1)

其中式(1)中的条件概率项P(c_j|a_i(x))是由拉普拉斯平滑(Laplace Smoothing)的贝叶斯估计(Bayesian Estimation)进行计算，即为：

其中式(2)中的I(x,y)是一个指标函数，即当x＝y时I(x,y)＝1，否则I(x,y)＝0；λ≥0是一个拉普拉斯平滑因子；

其中步骤S3还包括：

估计有效范围，利用有效范围算法(Valid Ranges Algorithm)的计算属性A_i内每个分类值a_i(x)的有效范围[P_min(c_j|a_i)，P_max(c_j|a_i)]，其中0≤P_min(c_j|a_i)≤P_max(c_j|a_i)≤1；

其中步骤S4包括：

S01、如果条件概率项P(c_j|a_i(x))用于正确分类的样本数大于错误分类的样本数时，即Neg_ratio(a_i,c_j)＞pos_ratio(a_i,c_j)时，微调这个概率项P(c_j|a_i(x))，否则退出微调过程；

S02、计算分类值a_i(x)的平均有效范围与条件概率的差的绝对值，其中

S03、把条件概率用进行更新，即

S04、归一化更新的条件概率即

其中步骤S4还包括：

微调后验证，使用机器学习分类器验证微调后的条件概率的性能是否得到提高，即验证微调算法是否能更加真实的拟合原始数据的分布；

其中步骤S5包括，

条件判断，判断微调后验证中条件概率的性能是否提高，如果得到提高，说明本次微调是有效的，转到微调条件概率，继续微调；否则终止微调过程，退出程序。

2.如权利要求1所述的一种基于微调条件概率的分类数据转换方法，其特征在于，微调次数限制在预设的1000次以内。