[发明专利]训练数据处理方法、装置和存储介质

说明书

本申请提供了训练数据处理方法、装置和存储介质，涉及人工智能技术领域，可以应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，包括：获取预训练回归模型和初始训练集；利用预训练回归模型获取候选数据集中的各样本数据对应的聚类结果；基于初始训练集和第二损失函数，对预训练回归模型进行更新约束训练，得到中间模型，并利用中间模型得到第一差集中各样本数据的预测置信度；基于预测置信度和聚类结果，对第一差集中的样本数据进行数据采样；进而利用得到的增量训练集对初始训练集进行更新处理；基于更新的初始训练集进行循环迭代，将满足迭代结束条件时所得到的初始训练集作为目标训练集。本申请有效提高训练数据的有效性。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种训练数据处理方法、装置和存储介质。

背景技术

在深度学习方案中需要解决的关键问题是数据的有效性。通常情况下训练数据的积累是基于技术人员对业务的理解和经验对样本数据进行数据标注，该方式凭借技术人员的知识进行标注，易导致训练数据冗余。此外，一般情况下，样本数据中可能存在大量相似较高的数据，基于人工标注的数据会忽略数据的重复性，进而损害训练数据的有效性，影响相关模型的训练效果和应用性能。因此，需要提供一种能够高效筛选有效数据的训练数据处理方法，以解决现有技术中存在的上述问题。

发明内容

本申请提供了一种训练数据处理方法、装置和存储介质，能够高效筛选候选数据集中的有效数据，优化模型训练效果和后续任务的应用效果。

一方面，本申请提供了一种训练数据处理方法，所述方法包括：

获取预训练回归模型和初始训练集；所述预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；所述初始训练集属于所述候选数据集；

利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果；所述聚类结果表征所述候选数据集中的各样本数据所属的聚类类别；

基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型；所述第二损失函数为所述第一损失函数对应的最大似然损失函数；

利用所述中间模型，对所述候选数据集与所述初始训练集的第一差集中的样本数据，进行置信度预测处理，得到所述第一差集中各样本数据的预测置信度；所述预测置信度表征所述样本数据所携带的信息量；

基于所述预测置信度和所述聚类结果，对所述第一差集中的样本数据进行数据采样处理，得到增量训练集；

利用所述增量训练集对所述初始训练集进行更新处理，得到更新的初始训练集；

基于所述更新的初始训练集，循环执行上述更新约束训练、置信度预测处理、数据采样处理和对所述初始训练集进行更新处理的步骤，至满足迭代结束条件，将满足迭代结束条件的情况下所得到的所述更新的初始训练集作为目标训练集。

另一方面提供了一种训练数据处理装置，所述装置包括：

第一获取模块：用于获取预训练回归模型和初始训练集；所述预训练回归模型为基于候选数据集和第一损失函数对初始回归模型进行预设回归任务的约束训练得到的；所述初始训练集属于所述候选数据集；

第二获取模块：利用所述预训练回归模型获取所述候选数据集中的各样本数据对应的聚类结果；所述聚类结果表征所述候选数据集中的各样本数据所属的聚类类别；

更新约束训练模块：用于基于所述初始训练集和第二损失函数，对所述预训练回归模型进行样本数据的置信度预测和预设回归任务的更新约束训练，得到所述预训练回归模型对应的中间模型；所述第二损失函数为所述第一损失函数对应的最大似然损失函数；