[发明专利]一种数据处理的方法和装置

说明书

本发明实施例提供了一种数据处理的方法和装置，所述方法包括：在对所述不确定性预测模型训练的过程中，确定针对所述不确定性预测模型的反向传播梯度信息；其中，针对所述不确定性预测模型的反向传播梯度信息与所述特征提取和回归模型相分离；根据针对所述不确定性预测模型的反向传播梯度信息，对所述不确定性预测模型进行训练。通过本发明实施例，实现了在训练不确定性预测模型时，将其反向传播梯度与特征提取和回归模型的反向传播梯度分离，避免了不确定性预测模型干扰模型本来的性能，能够在不影响原有模型性能的情况下输出预测的不确定性数值。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据处理的方法和装置。

背景技术

目前，深度学习模型的性能通常是数据驱动模式，在模型训练数据的过程中出现数据不平衡的情况时，模型在数量较少的边缘案例数据类型上无法表现出较好的性能。

为了解决上述问题，通常是采用在模型训练数据中加入更多的少数群体数据的方法，但该方法需要人工对少数群体数据进行分析与筛选，耗时耗力，无法高效并准确的针对少数群体数据进行定向采集。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：

一种数据处理的方法，涉及特征提取和回归模型和与所述特征提取和回归模型相关联的不确定性预测模型，所述方法包括：

在对所述不确定性预测模型训练的过程中，确定针对所述不确定性预测模型的反向传播梯度信息；其中，针对所述不确定性预测模型的反向传播梯度信息与所述特征提取和回归模型相分离；

根据针对所述不确定性预测模型的反向传播梯度信息，对所述不确定性预测模型进行训练。

可选地，所述在对所述不确定性预测模型训练的过程中，确定针对所述不确定性预测模型的反向传播梯度信息，包括：

将从样本数据提取的特征输入所述不确定性预测模型，得到所述不确定性预测模型的样本不确定性预测结果；

根据所述样本不确定性预测结果，确定样本不确定性预测损失值；

根据所述样本不确定性预测损失值，确定针对所述不确定性预测模型的反向传播梯度信息。

可选地，所述根据所述样本不确定性预测结果，确定样本不确定性预测损失值，包括：

根据样本不确定性预测基准真相和所述样本不确定性预测结果，确定样本不确定性预测损失值。

可选地，还包括：

将从样本数据提取的特征输入所述特征提取和回归模型，得到所述特征提取和回归模型的样本预测结果；

确定所述样本数据对应的样本预测基准真相；

根据所述样本预测基准真相和所述样本预测结果，确定样本预测损失值，并将所述样本预测损失值作为样本不确定性预测基准真相。

可选地，还包括：

根据所述样本预测损失值，确定针对所述特征提取和回归模型的反向传播梯度信息，以根据针对所述特征提取和回归模型的反向传播梯度信息，对所述特征提取和回归模型进行训练。

一种数据处理的方法，涉及特征提取和回归模型和与所述特征提取和回归模型相关联的不确定性预测模型，所述方法包括：

在对所述不确定性预测模型校准的过程中，根据边缘案例百分位阈值，对预测偏差和所述不确定性预测模型的校准不确定性预测结果进行二分类；

确定在所述边缘案例百分位阈值下的最佳不确定性预测阈值，以完成对所述不确定性预测模型的校准。

可选地，还包括：