[发明专利]基于深度学习预训练模型的迁移学习方法及终端设备

说明书

本发明适用于模型构建技术领域，提供了一种基于深度学习预训练模型的迁移学习方法及终端设备，该方法包括：将数据集划分为训练数据集和测试数据集；根据所述训练数据集中的数据，对获取的预训练模型重新训练，获得新模型；根据所述测试数据集中的数据，对所述新模型的泛化性能进行检测获取检测结果；当所述检测结果达到预设指标值时，则确定所述新模型为满足应用的模型。该方案可以解决现有技术中在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据，并且构建新模型耗时长、资源消耗较大的问题。

技术领域

本发明属于模型构建技术领域，尤其涉及一种基于深度学习预训练模型的迁移学习方法及终端设备。

背景技术

在传统的机器学习框架下，学习的任务就是根据给定充分训练数据的基础上构建一个新模型。然而，机器学习在当前的研究中存在着以下关键的问题：

1、训练新模型所需的大规模数据。通过针对某一具体领域的大规模数据并不好获取。

2、耗时长。深度学习是一个大型的神经网络，层数比较多，训练所需耗费时间较长，并且神经网络越复杂，数据越多，我们需要在训练过程上花费的时间也就越多。

3、消耗资源。神经网络通常需要大量的标记样本，通常大量的数据以及神经网络中各层的响应会消耗大量内存。传统的机器学习通常假设训练数据与测试数据服从相同的数据分布。然而，在许多情况下，这种同分布假设并不满足，例如训练数据过期，导致需要我们去重新标注大量的训练数据以满足我们训练的需求，但标注新数据需要大量的人力与物力，并且即便我们有了大量的、在不同分布下的训练数据，完全丢弃这些数据也是非常浪费的。

发明内容

有鉴于此，本发明实施例提供了一种基于深度学习预训练模型的迁移学习方法及终端设备，可以解决现有技术中在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据，并且构建新模型耗时长、资源消耗较大的问题。

本发明实施例的第一方面提供了一种基于深度学习预训练模型的迁移学习方法，包括：

将数据集划分为训练数据集和测试数据集；

根据所述训练数据集中的数据，对获取的预训练模型重新训练，获得新模型；

根据所述测试数据集中的数据，对所述新模型的泛化性能进行检测获取检测结果；

当所述检测结果达到预设指标值时，则确定所述新模型为满足应用的模型。

在一实施例中，所述训练数据集和所述测试数据集是两个数据分布一致并且互斥的数据集合。

在一实施例中，所述测试数据集通过分层采样的方式在所述数据集中进行采样获得，所述数据集中除所述测试数据集之外的数据为所述训练数据集。

在一实施例中，所述训练数据集中的数据比所述测试数据集中的数据多。

在一实施例中，所述训练数据集中的数据占所述数据集的数据的比例区间为[2/3,4/5]。

在一实施例中，所述将数据集划分为训练数据集和测试数据集，包括：

将数据集进行N次随机划分，获得N组训练数据集和对应的测试数据集，所述N大于等于1。

在一实施例中，所述根据所述训练数据集中的数据，对获取的预训练模型重新训练，获得新模型，包括：

根据所述训练数据集中的数据，对获取的预训练模型中模型后端的层次中的训练权重重新训练，获取新的权重；

根据所述训练数据集中的数据，对所述预训练模型中模型后端的层次中的参数进行调整，获取新的参数；

根据所述预训练模型中模型前端的层次中保持不变的训练权重、所述新的权重以及所述新的参数，获得新模型。