[发明专利]训练样本优化方法、装置、设备及存储介质

说明书

本发明公开了一种训练样本优化方法、装置、设备及存储介质，所述方法包括：获取用于模型训练的真实数据集和生成数据集；分别从所述真实数据集和所述生成数据集中进行有放回采样，对应得到真实采样数据和生成采样数据，其中，所述真实采样数据和所述生成采样数据的数据量比例为预设的目标比例；根据所述真实采样数据和所述生成采样数据得到用于模型训练的训练样本集。本发明实现了能够兼顾数据量比例和训练数据量，避免因比例失衡导致的模型训练效果差，也避免因训练数据量不足而导致模型训练效果差，也即，通过对训练样本进行优化，提高了模型的训练效果。

技术领域

本发明涉及人工智能领域，尤其涉及一种训练样本优化方法、装置、设备及存储介质。

背景技术

现有的模型训练往往是需要大量的训练数据的，但是正常情况下，训练数据的获取是很难的。

为了解决这个问题，现有做法是：采用人工生成仿真数据的方式，比如真实的数据有1万个，但是太少了，想要10万个，剩下的9万个通过仿真数据来补足，然后就将这两种数据混合然后拿去训练。现有的这种方法，有一个缺陷：无法既保证有足够的训练数据量，又保证真实数据和仿真数据的比例维持在目标比例(例如1：1)上。因为真实数据的数据量是固定不变的，要保证足够的训练数据量，只能增加仿真数据的数据量，然而增加仿真数据会导致比例失衡；要保证比例维持在目标比例，又会导致仿真数据不能太多，从而无法达到足够的训练数据量。因此，训练数据量与比例两者不可兼得。

当训练数据量不足时，会使得模型得不到充分训练而训练效果差；仿真数据跟真实的数据往往有着一定(甚至是较大)的差距，因此使用仿真数据进行训练得到的模型，并不如使用真实数据训练得到的模型效果好，特别是在仿真数据的数据量远大于真实数据时，也就是比例失衡时，就更加降低了模型训练效果。

发明内容

本发明的主要目的在于提供一种训练样本优化方法、装置、设备及存储介质，旨在解决目前为解决训练样本不足所采用的方式无法兼顾训练数据量和数据比例，从而导致模型训练效果差的问题。

为实现上述目的，本发明提供一种训练样本优化方法，所述训练样本优化方法包括以下步骤：

获取用于模型训练的真实数据集和生成数据集；

分别从所述真实数据集和所述生成数据集中进行有放回采样，对应得到真实采样数据和生成采样数据，其中，所述真实采样数据和所述生成采样数据的数据量比例为预设的目标比例；

根据所述真实采样数据和所述生成采样数据得到用于模型训练的训练样本集。

可选地，所述分别从所述真实数据集和所述生成数据集中进行有放回采样，对应得到真实采样数据和生成采样数据的步骤包括：

进行预设次数的采样，其中，各次采样分别从所述真实数据集和所述生成数据集中进行有放回采样，对应得到各次采样的真实采样数据和生成采样数据，各次采样时从所述真实数据集和所述生成数据集中采样的数据量比例为所述目标比例；

所述根据所述真实采样数据和所述生成采样数据得到用于模型训练的训练样本集的步骤包括：

分别将各次采样的真实采样数据和生成采样数据进行混合，得到各次采样对应的训练批，根据各所述训练批得到用于模型训练的训练样本集。

可选地，所述根据所述真实采样数据和所述生成采样数据得到用于模型训练的训练样本集的步骤之后，还包括：

采用所述训练样本集对待训练模型进行训练得到目标模型。

可选地，所述采用所述训练样本集对待训练模型进行训练得到目标模型的步骤之后，还包括：

将获取到的待识别文本图片输入所述目标模型，得到所述待识别文本图片的文本识别结果。

可选地，获取用于模型训练的所述生成数据集的步骤包括：