[发明专利]训练样本数据的优化方法、系统、存储介质及电子设备

说明书

本公开涉及一种训练样本数据的优化方法、系统、存储介质及电子设备，涉及人工智能技术领域，该优化方法包括：获取待优化训练集；对所述待优化训练集中的样本数据进行降维处理，得到处理后的坐标数据；对所述坐标数据进行筛选，得到筛选后的坐标数据；根据所述筛选后的坐标数据优化所述待优化训练集。本公开的有益效果：利用降维处理，可以对待优化训练集中的正样本数据和负样本数据进行可视化分析，通过可视化分析可以针对性对待优化训练集中的样本数据进行增加或删除，从而针对性去除待优化训练集中的“脏”数据、或“异常”数据，使得根据优化后的训练集对神经网络模型进行训练能够提高神经网络模型的识别准确率。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种训练样本数据的优化方法、系统、存储介质及电子设备。

背景技术

现有的模型训练往往是基于大量的训练样本数据进行的，例如，根据历史数据以及对应的结果生成至少包含正负两种样本的样本集，进而利用样本集训练特定的模型。一般来说，模型的准确度与训练样本直接相关，如果训练样本中存在过多的“脏”数据、或“异常”数据、或训练样本不平衡，会直接影响模型训练的效果，使得模型的预测结果出现偏差。

发明内容

为克服相关技术中存在的问题，本公开提供一种训练样本数据的优化方法、系统、存储介质及电子设备。

根据本公开实施例的第一方面，提供一种训练样本数据的优化方法，包括：

获取待优化训练集；

对所述待优化训练集中的样本数据进行降维处理，得到处理后的坐标数据；

对所述坐标数据进行筛选，得到筛选后的坐标数据；

根据所述筛选后的坐标数据优化所述待优化训练集。

在一些实施例中，所述对所述待优化训练集中的样本数据进行降维处理，得到处理后的坐标数据，包括：

将所述待优化训练集中的样本数据输入预训练模型，得到每个所述样本数据对应类型的概率分布信息；

针对每个所述样本数据对应的概率分布信息，对所述概率分布信息进行降维处理，得到该概率分布信息对应的坐标数据。

在一些实施例中，所述待优化训练集中的样本数据包括正样本数据以及负样本数据；

所述对所述坐标数据进行筛选，得到筛选后的坐标数据，包括：

基于得到的各个所述样本数据的坐标数据，确定所述正样本数据与所述负样本数据之间的分界线；

确定各个所述样本数据的坐标数据与所述分界线之间的距离；

根据所述距离，对所述坐标数据进行筛选，得到筛选后的坐标数据。

在一些实施例中，所述根据所述距离，对所述坐标数据进行筛选，得到筛选后的坐标数据，包括：

根据所述距离，获取所述待优化训练集中与所述分界线的距离满足预设条件的坐标数据，得到筛选后的坐标数据；

其中，所述预设条件为所述正样本数据对应的坐标数据与所述分界线的距离小于第一预设距离阈值，和/或，所述负样本数据对应的坐标数据与所述分界线的距离大于第二预设距离阈值，所述第一预设距离阈值小于所述第二预设距离阈值；

所述根据所述筛选后的坐标数据优化所述待优化训练集，包括：

将满足所述预设条件的坐标数据对应的样本数据从所述待优化训练集中筛除。

在一些实施例中，所述根据所述距离，对所述坐标数据进行筛选，得到筛选后的坐标数据，包括：