[发明专利]一种基于高斯dropout的深度学习模型不确定度计算方法

说明书

一种基于高斯dropout的深度学习模型不确定度计算方法，包括如下步骤：步骤1、对深度学习模型权重进行dropout采样，等价于对普通深度学习模型权重施加了一个贝努利分布，即在不改变模型结构的情况下将普通深度学习模型转换成贝叶斯深度学习模型；步骤2、对于深度学习模型进行训练时，采用变分推断的方法求出模型近似后验分布，即用一个分布近似后验概率的分布，计算二者之间的KL散度并且通过优化使得二者之间的KL散度最小化，最后得到最佳近似后验分布；步骤3、将贝叶斯深度学习模型的优化简化成训练好带有高斯dropout层的深度学习模型；步骤4、得到高斯dropout贝叶斯深度学习模型，采用Monte Carlo采样得到输出分布，计算采样的样本均值和标准差即得到输出分布结果。

技术领域

本发明涉及深度学习领域，尤其是一种基于贝叶斯深度学习的深度学习模型不确定度计算方法。

背景技术

目前国内外很多学者针对深度学习模型的不确定度计算方法基本上都是基于贝叶斯深度学习模型进行实现。贝努利dropout技术实现。在贝叶斯模型中，存在两种主要的不确定性类型：偶然不确定度(Aleatoric uncertainty)和认知不确定度(Epistemicuncertainty)。贝叶斯方法可以用于学习神经网络权重的概率分布，贝叶斯深度学习模型的构建主要通过在权重上放置一个先验分布，然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。

发明内容

为了解决上述技术问题，本发明针对于构建贝叶斯深度学习模型，为了尽可能不改变模型结构以及复杂度，对模型权重施加了一个贝努利分布也就是普通的dropout操作。在采用变分推断的方法求出模型近似后验分布，得到优化贝叶斯深度学习模型的negativeevidence lower bound和优化dropout正则化网络模型的损失函数是等价的。这一结论的前提是在推导过程中本发明将普通dropout的贝努利分布近似为高斯分布，这导致二者不是完全意义上的相等。这会使得本发明在优化dropout正则化网络模型的损失函数去训练模型得到不确定度和真实不确定度存在比较大的误差，最终不确定度对模型最终预测结果的判别作用失去了更好的作用。将贝叶斯深度学习模型中普通dropout操作替换高斯dropout，优化贝叶斯深度学习模型的negative evidence lower bound和优化dropout正则化网络模型的损失函数是完全等价的，使得模型最终获取的不确定度更加准确。

本发明的技术方案为：一种基于高斯dropout的深度学习模型不确定度计算方法，包括如下步骤：

步骤1、对深度学习模型权重进行dropout采样，等价于对普通深度学习模型权重施加了一个贝努利分布，即在不改变模型结构的情况下将普通深度学习模型转换成贝叶斯深度学习模型；其中包括：对于深度学习模型节点和节点之间失活满足高斯分布，也就是给上一层的所有节点到下一层某个节点的权值分配权值，权值满足正态分布；

步骤2、对于深度学习模型进行训练时，采用变分推断的方法求出模型近似后验分布，即用一个分布近似后验概率的分布，计算二者之间的KL散度并且通过优化使得二者之间的KL散度最小化，最后得到最佳近似后验分布；

步骤3、将贝叶斯深度学习模型的优化简化成训练好带有高斯dropout层的深度学习模型；

步骤4、得到高斯dropout贝叶斯深度学习模型，采用Monte Carlo采样得到输出分布，计算采样的样本均值和标准差即得到输出分布结果。

进一步的，所述步骤2、包括如下步骤：

对于深度学习模型的训练，在给定训练数据集D＝{(X₁，Y₁)，(X₂，Y₂)，……，(X_N,Y_N)},X为数据样本，Y为对应的标签，N为训练集的数据量；想获得到模型权重的后验分布p(W|X,Y)；模型权重的后验分布p(W|X,Y)由贝叶斯公式得到：