[发明专利]超参数调整方法、装置、设备及存储介质

说明书

本申请实施例公开了一种超参数调整方法、装置、设备及存储介质，属于人工智能领域。该方法包括：训练过程中，获取目标神经网络模型的当前前向推导偏差，当前前向推导偏差根据目标神经网络模型输出的当前前向推导结果和目标推导结果确定得到；响应于当前前向推导偏差不满足训练完成条件，且当前前向推导偏差和历史前向推导偏差指示进行超参数调整，将目标神经网络模型的历史训练数据输入超参数调整模型；根据超参数调整模型输出的超参数调整值调整超参数，并根据调整后的超参数训练目标神经网络模型。本申请实施例实现了神经网络训练过程中超参数的自动化调整，有助于提高超参数的调整效率，进而提高神经网络模型的训练效率。

技术领域

本申请实施例涉及人工智能领域，特别涉及一种超参数调整方法、装置、设备及存储介质。

背景技术

超参数(Hyper Parameter)是训练神经网络过程中，用于控制神经网络结构、性能以及训练效率的参数，在神经网络训练过程中起着重要作用。

通常情况下，在训练神经网络前，开发人员会根据经验设置初始超参数，并在神经网络训练过程中，根据神经网络的实际训练情况，根据经验手动调整超参数，以提高神经网络的训练效率和质量。

发明内容

本申请实施例提供了一种超参数调整方法、装置、设备及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种超参数调整方法，所述方法包括：

训练过程中，获取目标神经网络模型的当前前向推导偏差，所述当前前向推导偏差根据所述目标神经网络模型输出的当前前向推导结果和目标推导结果确定得到；

响应于所述当前前向推导偏差不满足训练完成条件，且当前前向推导偏差和历史前向推导偏差指示进行超参数调整，将所述目标神经网络模型的历史训练数据输入超参数调整模型，所述超参数调整模型是根据超参数历史调整记录训练得到的神经网络模型；

根据所述超参数调整模型输出的超参数调整值调整超参数，并根据调整后的超参数训练所述目标神经网络模型。

另一方面，本申请实施例提供了一种超参数调整装置，所述装置包括：

偏差获取模块，用于在训练过程中，获取目标神经网络模型的当前前向推导偏差，所述当前前向推导偏差根据所述目标神经网络模型输出的当前前向推导结果和目标推导结果确定得到；

数据输入模块，用于响应于所述当前前向推导偏差不满足训练完成条件，且当前前向推导偏差和历史前向推导偏差指示进行超参数调整，将所述目标神经网络模型的历史训练数据输入超参数调整模型，所述超参数调整模型是根据超参数历史调整记录训练得到的神经网络模型；

调整模块，用于根据所述超参数调整模型输出的超参数调整值调整超参数，并根据调整后的超参数训练所述目标神经网络模型。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的超参数调整方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的超参数调整方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的超参数调整方法。

本申请实施例提供的技术方案至少包括如下有益效果：