[发明专利]一种深度学习的训练方法

说明书

本发明公开了一种深度学习的训练方法，收集跨域的测试数据训练模型，并根据模型预测测试集的准确率，将有监督学习和伪标签学习有效的结合起来，较大的提升了网络的泛化能力，使用训练得到的模型来对跨域的未标注的数据进行预测，生成伪标签，辅助人工标注，提升了人工标注的效率。

技术领域

本发明涉及深度学习技术领域，特别是指一种深度学习的训练方法。

背景技术

大数据时代，每天都会产生巨量的数据，但是这些数据都是杂乱无章的，如果人工对这些数据进行总结和分析，不仅耗时耗力，而且结果很差。因此希望训练人工智能，让机器具有分析、总结甚至推理的能力，代替人类完成一些任务。

训练数据是深度学习中最重要的环节之一。标注训练数据需要大量的时间和人力，因此深度学习逐渐从有监督学习向伪标签、半监督学习、无监督学习发展。某些深度学习模型在特定的数据域上有良好的表现，换一个数据域后，准确率则大幅下降，因此出现了很多防止模型过拟合，提升模型泛化能力的策略。例如：使用有监督学习和无监督学习结合的学习策略、使用dropout策略，使用权重正则化策略等。

1、有监督学习：通俗的来讲，就是需要人工对数据进行标注。监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。监督学习通过已有的训练样本(即已知数据及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的)，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。监督学习的目标往往是让计算机去学习已经创建好的分类系统(模型)。监督学习是训练神经网络和决策树的常见技术，这两种技术高度依赖事先确定的分类系统给出的信息。对于神经网络，分类系统利用信息判断网络的错误，然后不断调整网络参数。对于决策树，分类系统用它来判断哪些属性提供了最多的信息。

2、无监督学习：数据是没有标签的或者是有一样的标签。不知道数据的含义和作用，让网络自己学习如何对数据进行分类。输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类(聚类)试图使类内差距最小化，类间差距最大化。通俗的讲，实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。非监督学习目标不是告诉计算机怎么做，而是让计算机自己去学习怎样做。无监督学习的方法分为两大类：

1)基于概率密度函数估计的直接方法：找到各类别在特征空间的分布参数，再进行分类。

2)基于样本间相似性度量的简洁聚类方法：其原理是设法定出不同类别的核心初始内核，然后依据样本与核心之间的相似性度量将样本聚集成不同的类别。利用聚类结果，可以提取数据集中隐藏信息，对未知数据进行分类和预测。

3、伪标签：在标签数据上训练模型，然后使用经过训练的模型来预测无标签数据的标签，从而创建伪标签。此外，将标签数据和新生成的伪标签数据结合起来作为新的训练数据。

4、Dropout：dropout是训练深度神经网络的一种trick，在网络进行前向传播的时候，让某些神经元的激活值以一定的概率P停止工作。

5、正则化：通常神经网络可以模拟任何非线性函数，即通过增加隐含层的数量来无限接近目标值，然而，这样的情况下，难免也会把噪声进行拟合，为了避免过拟合，需要将权重正则化，权重正则化的含义就是保证权重系数在绝对值意义上足够小，使得噪声不会被较好地拟合。L2正则化就是在代价函数后面再加上一个正则化项，计算方式如下：

其中θ是网络层的待学习参数，λ是正则化系数，控制正则项的大小，较大的λ取值将较大程度约束模型复杂度。

综上所述，可知现有的训练策略训练的模型在训练数据域上表现良好，但是在跨域数据上表现急剧下降，标注数据需要大量的人工成本。

发明内容