[发明专利]计算方法、计算装置、电子设备和计算机可读存储介质

说明书

本公开提供了一种由电子设备执行的计算方法，包括：获得计算模型和计算数据；以及将计算数据输入计算模型以得到计算结果；其中，获得计算模型包括：获得多个样本集；以及利用多个样本集训练神经网络模型，训练完成后得到计算模型，神经网络模型包括多个运算单元，其中，在利用多个样本集中的每一个样本集训练神经网络模型的过程中：基于神经网络模型的丢弃概率确定多个运算单元中的每个运算单元在训练过程中是否参与运算；以及获得损失函数的值，并基于损失函数的值更新丢弃概率，损失函数包括附加项，附加项与丢弃概率相关。本公开还提供了一种计算装置、一种电子设备以及一种计算机可读存储介质。

技术领域

本公开涉及一种计算方法、一种计算装置、一种电子设备和一种计算机可读存储介质。

背景技术

随着各个技术领域的不断发展，神经网络模型的应用越来越广泛，可以应用于例如图像识别、语音识别、系统控制、趋势预测等诸多方面。但是，现有的神经网络模型在训练过程中不能训练调节模型的运算时间，而模型的运算时间对于应用过程存在重要的影响，例如，如果模型的运行时间较长，运算速度较慢，则不能满足实时性识别预测的需求。因此，如何在训练过程中调节模型的运行时间成为亟需解决的技术问题。

发明内容

本公开的一个方面提供了一种由电子设备执行的计算方法，包括：获得计算模型和计算数据；以及将所述计算数据输入所述计算模型以得到计算结果；其中，所述获得计算模型包括：获得多个样本集；以及利用所述多个样本集训练神经网络模型，训练完成后得到所述计算模型，所述神经网络模型包括多个运算单元，其中，在利用所述多个样本集中的每一个样本集训练所述神经网络模型的过程中：基于所述神经网络模型的丢弃概率确定所述多个运算单元中的每个运算单元在训练过程中是否参与运算；以及获得损失函数的值，并基于所述损失函数的值更新所述丢弃概率，所述损失函数包括附加项，所述附加项与所述丢弃概率相关。

可选地，所述神经网络模型还包括对应于每个运算单元的丢弃系数，所述丢弃系数基于所述丢弃概率确定，所述附加项包括所述丢弃系数；所述基于所述神经网络模型的丢弃概率确定所述多个运算单元中的每个运算单元在训练过程中是否参与运算包括：基于所述丢弃概率确定所述每个运算单元的丢弃系数，基于所述丢弃系数确定对应的运算单元在训练过程中是否参与运算。

可选地，所述丢弃系数具有第一系数值和第二系数值，所述第一系数值小于所述第二系数值，所述丢弃概率为使所述丢弃系数取第一系数值的概率；在所述丢弃系数取所述第一系数值的情况下，与所述丢弃系数对应的运算单元不参与运算。

可选地，所述附加项包括第一部分，所述第一部分为每个运算单元的丢弃系数与各自的运算时间的乘积绝对值的加和；所述附加项还包括调节参数，所述附加项为所述调节参数与所述第一部分的乘积，其中，所述调节参数为非负常数。

可选地，在所述调节参数不同的情况下，训练得到的计算模型的运行时间不同；所述方法还包括：获得所述调节参数的多个取值；基于所述多个取值中的每个取值训练得到一个计算模型，并得到每个计算模型的运行时间；确定多个计算模型中运行时间接近预设的期望运行时间的计算模型。

可选地，所述多个运算单元共用同一个丢弃概率，在训练所述神经网络模型的过程中，基于所述损失函数更新所述丢弃概率的值；或者所述多个运算单元中的每个运算单元具有各自的丢弃概率，在训练所述神经网络模型的过程中，基于所述损失函数更新所述每个运算单元的丢弃概率的值。

可选地，所述运算单元包括一个神经元或者一组神经元；所述神经网络模型包括输入层、输出层和中间层，所述多个运算单元属于所述神经网络模型的中间层。