[发明专利]基于有限数据的分类模型训练方法和终端设备

说明书

本发明适用于机器学习技术领域，提供了一种基于有限数据的分类模型训练方法和终端设备，其中，所述方法包括：获取预训练模型和数据集；将数据集随机划分两个子集，并确定两个子集中的任意一个子集为训练集；将两个子集中的另一个子集确定为测试集；根据训练集训练预训练模型；根据测试集测试训练后的预训练模型；根据测试结果对训练后的预训练模型进行评估。在本发明实施例提供的基于有限数据的分类模型训练方法和终端设备中，由于预训练模型是已应用于其他分类问题的模型，相较于新建模型，对其进行适应性训练和局部优化所需的时间和数据量必然大幅减小，从而解决了现有技术对机器分类模型进行训练时耗时较长和训练所需数据过多的问题。

技术领域

本发明属于机器学习技术领域，尤其涉及一种基于有限数据的分类模型训练方法和终端设备。

背景技术

在传统的机器学习的框架下，学习的任务就是在给定的训练数据的基础上，通过不断优化模型的参数而得到一个符合预期学习效果的分类模型，然后利用这个分类模型执行自动分类或判断的工作，例如，对文档进行分类。然而，机器学习在当前的研究中存在着两个关键的问题：

(1)耗时长。以深度学习为例，深度学习是一个大型的神经网络模型，层数比较多，训练需要耗费很长时间，且越复杂的神经网络模型所需要的训练数据越多，训练所需时间也就越多。

(2)消耗资源。仍以深度学习为例，大型神经网络模型的训练需要大量数据支撑，至少需要数千或数百万个标记样本。海量训练数据需要人工预先完成标注或分类，以保证训练的可靠性，消耗了大量的人力与物力。大量的训练数据、模型参数以及模型各层响应还会消耗大量内存。

发明内容

有鉴于此，本发明实施例提供了一种基于有限数据的分类模型训练方法和终端设备，以解决现有技术对机器分类模型进行训练时耗时较长和训练所需数据过多的问题。

根据第一方面，本发明实施例提供了一种基于有限数据的分类模型训练方法，包括：获取预设的预训练模型和数据集；对所述数据集进行预分类，并根据分类结果将所述数据集对应划分为多个子集；分别从各个所述子集中抽取设定数量的样本组成训练集和测试集；根据所述训练集训练所述预训练模型；根据所述测试集测试训练后的所述预训练模型，并获取测试结果；根据所述测试结果对训练后的所述预训练模型进行评估。

本发明实施例提供的基于有限数据的分类模型训练方法，改变了普通机器学习直接对一个新建的分类模型进行训练的方式，通过有限的新数据对预训练模型进行训练，从而优化预训练模型中的部分参数，使其适应新的数据分类任务，从而达到快速完成分类模型训练的目的。由于预训练模型是已应用于其他分类问题的模型，相较于新建模型，对其进行适应性训练和局部优化所需的时间和数据量必然大幅减小，从而解决了现有技术对机器分类模型进行训练时耗时较长和训练所需数据过多的问题。

结合第一方面，在第一方面第一实施方式中，所述训练集和所述测试集为两个互斥的集合。

本发明实施例提供的基于有限数据的分类模型训练方法，通过将数据量有限的数据集划分为互斥的训练集和测试集，从而使测试集中的数据不同于训练集中的数据，进而使得利用测试集对预训练模型进行测试的测试结果具有独立性，能够公正客观地反应模型的分类性能。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述训练集和所述测试集具有相同的数据分布特性。

本发明实施例提供的基于有限数据的分类模型训练方法，为了避免每次划分数据集时引入额外的偏差而对最终的模型训练结果产生影响，在划分的时候尽可能保证数据分布的一致性。

结合第一方面或第一方面第一或第二实施方式，在第一方面第三实施方式中，所述根据所述测试结果对训练后的所述预训练模型进行评估，包括：判断所述测试结果是否符合预设的应用需求；当所述测试结果符合预设的应用需求时，输出训练后的所述预训练模型。