[发明专利]一种基于无监督学习的模型预训练方法

权利要求书

1.一种基于无监督学习的模型预训练方法，其特征在于，步骤如下：

步骤1、采用均匀分布的方式对神经网络模型的参数进行初始化，并设置循环轮数；

步骤2、利用数据本身具有高度相似性的特点，寻找锚数据；

步骤3、利用最近邻算法为每个锚数据寻找邻数据；

步骤4：拉近锚数据和其对应的邻数据在特征空间之间的距离；

步骤5：采用循序渐进的方式，循环步骤2-步骤4，获得最终的神经网络模型参数；

步骤6：将获得的最终的神经网络模型参数作为后续针对目标数据集进行监督学习的初始化参数；

2.根据权利要求1所述的一种基于无监督学习的模型预训练方法，其特征在于，步骤1采用均匀分布的方式对神经网络模型进行参数初始化，并设置循环轮数，具体步骤如下；

首先，采用均匀分布的随机初始化方法，作为神经网络模型的初始参数。其次，设置随机初始化方法的循环轮数R，并计算出每轮中选取锚数据的样本个数，具体公式如下：

公式(1)中r指代当前轮次，R指代要循环的总轮数。S为每轮中选取锚数据的数量占训练集总数的百分比。

3.根据权利要求2所述的一种基于无监督学习的模型预训练方法，其特征在于，步骤2利用数据本身具有高度相似性的特点，寻找锚数据，具体步骤如下；

寻找在特征空间中特征最为突兀的数据作为锚数据，为了寻找锚数据，定义如下公式：

公式(2)中，p_ij是无参数的类别指示器，x_i表示第i个样本对应的特征向量，x_j表示第j个样本对应的特征向量，N表示训练集的样本个数，u是决定特征空间稠密程度的超参数，是人为设定的，当u＞1时，特征空间越稠密，0u1时，特征空间越稀疏。当u＝1时，公式(2)完全等价于传统的softmax函数，因此不会设定u＝1。

公式(3)中，H(x_i)表示样本在训练集中的得分值，H(x_i)的值越大，代表该样本在特征空间中处于周围较密集区域；H(x_i)的值越小，代表该样本在特征空间中处于较稀疏区域。在每轮循环中选取训练集中H(x_i)最小的前H*S个样本作为锚数据。

4.根据权利要求3所述的一种基于无监督学习的模型预训练方法，其特征在于，步骤3利用最近邻算法为每个锚数据寻找邻数据，具体步骤如下；

采用k-最近邻算法为每个锚数据寻找最近的1个邻数据，即k取值为1；采用的度量方式为余弦距离。传统的k-最近邻算法数学定义如下：

N(x)＝{x_i|s(x_i，x)is top_k inX}∪{x} (4)

其中X指整个训练集的特征空间，s(*)表示余弦距离。

5.根据权利要求4所述的一种基于无监督学习的模型预训练方法，其特征在于，步骤4拉近每个锚数据和其对应邻数据之间的特征距离，具体步骤如下；

为了达到无监督聚类的效果，在特征空间中拉近每个锚数据和其对应的邻数据之间的距离，采用损失函数公式如下：

6.根据权利要求5所述的一种基于无监督学习的模型预训练方法，其特征在于，步骤5采用循序渐进的方式，循环步骤2-步骤4，获得最终的神经网络模型参数，具体步骤如下；

通过循序渐进的方式，使神经网络模型能够从易到难的学习训练集本身的特征分布，使得无监督模型可以从简单到复杂的进行聚类学习，循环的总轮数为R。