[发明专利]数据处理方法、装置、存储介质和电子设备

说明书

公开了一种数据处理方法、装置、存储介质和电子设备。通过获取原始样本集合和验证样本集合，通过初始数据增广模型根据原始样本集合获取增广样本集合，通过初始业务处理模型根据原始样本集合和增广样本集合获取训练损失，并根据验证样本集合获取验证损失，根据训练损失和验证损失对初始数据增广模型进行调整以获取数据增广模型。由此，通过将数据增广与实际业务进行结合，可以降低增广样本的对模型训练带来的噪声数据，提升特定业务下业务处理模型的性能。

本申请要求了2021年06月24日提交的申请号为2021107060592，名称为“数据处理方法、装置、存储介质和电子设备”的中国专利申请的优先权，其全部内容通过引用的方式结合在本文的申请中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、存储介质和电子设备。

背景技术

随着信息技术的发展，在很多情况下需要基于人工智能的业务处理模型进行业务的处理，例如基于图像检测模型对图像进行目标检测等。通常是基于训练样本对业务处理模型进行训练，以获取业务处理模型。但是，由于训练样本数量比较少，或者是存在类别不均衡的问题，导致训练得到的模型的业务处理性能比较差，业务数据处理准确度低。

由此，现有技术通常通过数据增广方法来扩充训练样本。数据增广是通过对原始数据集进行特定操作(例如旋转、裁剪、遮挡等)以生成新数据来实现的。但是，如果操作不合适可能会给模型的训练带来噪声数据，进而带来负面影响降低模型的性能。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据处理方法、装置、存储介质和电子设备，可以降低增广样本的对模型训练带来的噪声数据，提升特定业务下业务处理模型的性能。

第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：

获取原始样本集合和验证样本集合，所述原始样本集合包括多个原始样本和对应的样本标签，所述验证样本集合包括多个验证样本和对应的样本标签；

通过初始数据增广模型根据所述原始样本集合获取增广样本集合，所述增广样本集合包括多个增广样本和对应的样本标签，所述增广样本为所述初始数据增广模型对原始样本进行操作后生成；

通过初始业务处理模型根据所述原始样本集合和增广样本集合获取训练损失；

通过初始业务处理模型根据所述验证样本集合获取验证损失；以及

根据所述训练损失和验证损失对所述初始数据增广模型进行调整以获取数据增广模型。

在一些实施例中，所述初始数据增广模型包括多个子策略；

其中，通过初始数据增广模型根据所述原始样本集合获取增广样本集合包括：

根据第一参数组确定初始数据增广模型的第一函数，所述第一参数组用于表征初始数据增广模型中各个子策略的概率分布，所述第一函数用于表征所述第一参数与子策略选择概率的关系；

根据第二参数组确定各个子策略的输出数据，所述第二参数组用于表征子策略中各个操作的概率分布，所述输出数据为子策略对原始样本进行操作后的输出数据；

根据所述第一函数和所述输出数据确定各个原始样本对应的增广样本；以及

根据所述增广样本生成所述增广样本集合，所述增广样本集合中的样本标签为增广样本对应的原始样本的样本标签。

在一些实施例中，所述第一参数组包括多个第一参数，所述多个第一参数为各个子策略的概率分布；

其中，根据第一参数组确定初始数据增广模型的第一函数包括：

获取各个第一参数对应的对数值；