[发明专利]一种深度神经网络冗余可靠性度量方法、介质及设备

说明书

本发明提供了一种深度神经网络冗余可靠性度量方法、介质及设备，对深度神经网络的层节点基于权重信息进行聚类，利用几何中心理论标识深度神经网络的每个层的几何中心，构建基于故障注入策略的网络可靠性计算模型，基于自适应收敛策略提取网络的冗余可靠性；以介质执行基于几何中心理论的深度神经网络冗余可靠性度量方法的深度神经网络冗余可靠性度量程序；以计算机设备存储实现基于几何中心理论的深度神经网络冗余可靠性度量方法的计算机程序。本发明有助于提高识别精度、加快计算速度；在实现计算加速的同时有效量化不同输出对网络可靠性的影响，有助于相关人员及时了解掌握网络冗余度与可靠性的对应关系，为进一步决策提供有效参考与依据。

技术领域

本发明涉及基于特定计算模型的计算机系统的技术领域，特别涉及一种智能计算系统的可靠性评估领域的、基于几何中心理论的深度神经网络冗余可靠性度量方法、介质及设备。

背景技术

近年来，深度神经网络在我们生活的方方面面得到了广泛的应用，如手写数字识别与无人驾驶等。

然而，由于缺乏可信理论的支持，故在网络构建过程中主要还是依赖于经验来确定其规模，如网络深度与层宽度，导致为满足可靠性的要求容易产生过度的冗余设计。结构冗余确实有利于改善网络的可靠性水平，但也容易造成训练时间的增加、增大网络的功耗。为此，有必要构建适中的冗余结构以平衡深度神经网络的可靠性与训练开销。

目前，分析深度神经网络冗余可靠性的方法主要包括基于故障注入的评估方法、面向容错计算的度量方法与基于概率模型的计算方法等。基于故障注入的评估方法通过在网络中随机注入故障并借助统计学方法以量化网络的可靠性水平，它往往可达到较高的计算精度，但容易产生巨大的时间开销。面向容错计算的度量方法则通过在指定区域不断增加故障节点的数目以测试网络对故障的响应使实现网络的可靠性评价，但由于每次只在指定区域展开分析，使得该方法未能有效度量整体网络的可靠性水平。而基于概率模型的方法通过随机理论以量化节点的不确定性行为特征，并借助竞争性模型以量化网络的可靠性水平，其通常可实现快速计算的目的，但因未能有效度量故障传播对输出结果所造成的影响使容易造成精度损失。

综上，上述方法未能显示给出网络的冗余度与可靠性之间的对应关系，不利于实现网络可靠性与训练开销的最优化，也不利于促进“碳中和”目标的实现。

发明内容

为克服现有方法所存在的上述不足，本发明提供一种优化的深度神经网络冗余可靠性度量方法、介质及设备，利用几何中心理论度量深度神经网络的冗余度与其可靠性之间的对应关系，以方便设计人员构建满足应用场景的网络或帮助用户选择符合要求的网络，不仅可以评价模型在不同冗余度下的可靠性水平，也可用于指导设计人员实施网络压缩或剪枝。

本发明所采用的技术方案是，一种基于几何中心理论的深度神经网络冗余可靠性度量方法，所述方法对深度神经网络的层节点基于权重信息进行聚类，利用几何中心理论标识深度神经网络的每个层的几何中心，构建基于故障注入策略的网络可靠性计算模型，基于自适应收敛策略提取网络的冗余可靠性。

优选地，所述方法包括以下步骤：

步骤1：读取深度神经网络模型M，提取关联参数；

步骤2：对深度神经网络M中每一层节点的权重进行聚类；

步骤3：标记深度神经网络M中每一层的冗余节点；

步骤4：构建基于故障注入策略的网络可靠性计算模型，计算深度神经网络M的冗余可靠性。

优选地，所述关联参数包括深度神经网络M的层数L、层节点的权重集合W、节点故障概率P、M在P下的可靠性R^M、样本数据集V，最大样本随机抽取次数E_max，模型的冗余度S；