[发明专利]一种基于高斯dropout的深度学习模型不确定度计算方法

权利要求书

1.一种基于高斯dropout的深度学习模型不确定度计算方法，其特征在于，包括如下步骤：

步骤1、对深度学习模型权重进行dropout采样，等价于对普通深度学习模型权重施加了一个贝努利分布，即在不改变模型结构的情况下将普通深度学习模型转换成贝叶斯深度学习模型；其中包括：对于深度学习模型节点和节点之间失活满足高斯分布，也就是给上一层的所有节点到下一层某个节点的权值分配权值，权值满足正态分布；

步骤2、对于深度学习模型进行训练时，采用变分推断的方法求出模型近似后验分布，即用一个分布近似后验概率的分布，计算二者之间的KL散度并且通过优化使得二者之间的KL散度最小化，最后得到最佳近似后验分布；

步骤3、将贝叶斯深度学习模型的优化简化成训练好带有高斯dropout层的深度学习模型；

步骤4、得到高斯dropout贝叶斯深度学习模型，采用Monte Carlo采样得到输出分布，计算采样的样本均值和标准差即得到输出分布结果。

2.根据权利要求1所述的一种基于高斯dropout的深度学习模型不确定度计算方法，其特征在于，所述步骤2、包括如下步骤：

对于深度学习模型的训练，在给定训练数据集D＝{(X₁，Y₁)，(X₂，Y₂)，……，(X_N,Y_N)},X为数据样本，Y为对应的标签，N为训练集的数据量；想获得到模型权重的后验分布p(W|X,Y)；模型权重的后验分布p(W|X,Y)由贝叶斯公式得到：

先验分布p(W)被设定为标准正态分布，但是由于边际分布p(Y|X)需要在整个W进行积分，采用变分推断的方法求出模型近似后验分布，即用一个更加简单的分布q_θ(W)去近似后验概率的分布p(W|X,Y)，计算二者之间的KL散度并且通过优化使得二者之间的KL散度最小化，最小化KL散度等价于最小化似然函数的下限negative evidence lower bound(ELBO)，也就是最小化：

-∫q_θ(W)logp(Y|X,W)dW+KL[q_θ(W)|p(w)]

最后得到最佳近似后验分布W为权值矩阵。

3.根据权利要求1所述的一种基于高斯dropout的深度学习模型不确定度计算方法，其特征在于，所述步骤3具体包括如下步骤：

基于优化贝叶斯深度学习模型的negative evidence lower bound和优化利用dropout正则化网络模型的损失函数的等价关系，将贝叶斯深度学习模型的优化简化成训练带有高斯dropout层的深度学习模型。

4.根据权利要求1所述的一种基于高斯dropout的深度学习模型不确定度计算方法，其特征在于，所述步骤4具体包括如下步骤：

得到高斯dropout贝叶斯深度学习模型，采用Monte Carlo采样得到输出分布，计算采样的样本均值和标准差即得到输出分布结果，分布均值即为模型预测结果，方差即为模型不确定度。