[发明专利]一种基于高维数据分布的复合式伪标签拟合方法

权利要求书

1.一种基于高维数据分布的复合式伪标签拟合方法，包括以下步骤：

(1)对各维度进行统计，获得数据分布特征：随机对每个维度进行采样，获取t个数据，对此t个数据进行统计，首先取得t个数据中的最大值与最小值，按最大值与最小值的间隔均匀分区，分为h个区间，则每个区间长度为：(max-min)/h，按每个区间起始位置大小，对每个区间按编号为0，1，2，3……h-1进行编号，后统计t个数据落到各个编号区间的数据数量，按照区间的编号，将每个编号区间的数据数量重新组合为长度为h的数组(大小为：[1 xh])的数据分布矩阵αn，此步操作设为函数A(Xn)，此步骤数学表达为：A(Xn)＝αn(αn是数据的统计分布特征矩阵，Xn表示总数据第n维度的总数据)；

(2)两两对比数据相关性，不重复地选择相关性较高的n/2(取上整)组维度对：由步骤(1)得到的第n维度数据的统计分布特征矩阵αn，进行各个维度之间的相关性计算(对维度n1的统计分布特征矩阵αn1(如下公式中用X表示)与维度n2的统计分布特征矩阵αn2(如下公式中用Y表示)采用皮尔森相关系数计算算法得数据统计分布特征矩阵相关性，

即：Pearsonr(X,Y)＝ρ(X，Y)＝(COV(X，Y))/(σ_Xσ_Y)＝(E[(X-μ_X)(Y-μ_Y)])/(σ_Xσ_Y))：依据如上操作，计算出各个维度统计分布特征之间的相关性，后将此相关性数据取绝对值操作，后不重复地选取相关性最高的数据维度对，将取定的维度对存入特定数组，此数据维度两两组合，如出现不能配对的奇数，则对其进行自身与自身的配对；此操作设为函数B(α0，α1，α2……αn)，此步骤的数学表达为：B(α0，α1，α2……αn)＝Q1,Q2……Qn/2，Qn代表取定的第n个相关性较高的维度对；

(3)每组维度都使用采样数据训练独立小模型：对于每一对数据维度都构建一个独有的伪标签模型，模型视作函数C(Qn)，输入两维数据对Qn，得到一维数据Zn，达到降维目的，此步数学表达为：C(Qn)＝Zn；

(4)用输入数据统计分布特征做为训练标签，在分布特征标签下进行模型的深度学习训练：使用步骤(1)中方法处理此独立模型的输出数据，得到输出数据的数据统计分布特征矩阵βn，将原输入两维数据的数据统计分布特征矩阵进行加和，得到具有同时此维度对两维数据统计分布特征的矩阵αn，矩阵βn与矩阵αn使用均方差的方法计算损失，得到损失Loss，使用梯度下降的方法，使模型得到训练，使输出数据Zn分布特征更加接近于输入维度对Qn数据的总体分布特征；

(5)实现对数据的降维：按相同的方法得到Z2,Z3……Zn/2总数为n/2(取上整)的数据量(维度量)，实现将数据维度减少一半，从而实现降维的目的，使用维度对数据总的统计分布特征做为模型训练的标签，也能使产生的输出Zn更加贴合输入原维度对数据的统计分布特征，使数据更加具有真实性；

(6)判断维度是否降为一：得到降维的数据，之后按照相同的方法，计算函数A(Zn)＝αn，得到数据统计分布αn，后将α1,α2……αn/2两两之间计算函数Pearsonr(αx,αy)的值，对结果排序，计算函数B(α0，α1，α2……αn)＝Q1,Q2……Qn/2，Qn代表取定的第n个相关性较高的维度对。后依次重复(3)、(4)、(5)、(1)、(2)操作，直到将维度降为一为止，；此时得到的是原超高维度数据的伪标签，此伪标签具有原高维数据每个维度的数据分布信息，适合使用其做为数据训练的伪标签，至此，得到高维无标签数据的伪标签；

(7)构造新模型，将全部数据、全维度依据伪标签使模型进行有监督学习：使用步骤(6)得到的伪标签高维无标签的数据，进行新模型的拟合训练即得。