[发明专利]超参数调整方法、装置、设备及存储介质

权利要求书

1.一种超参数调整方法，其特征在于，所述方法用于计算机设备，所述方法包括：

训练过程中，获取目标神经网络模型的当前前向推导偏差，所述当前前向推导偏差根据所述目标神经网络模型输出的当前前向推导结果和目标推导结果确定得到；

响应于所述当前前向推导偏差不满足训练完成条件，且当前前向推导偏差和历史前向推导偏差指示进行超参数调整，将所述目标神经网络模型的历史训练数据输入超参数调整模型，所述超参数调整模型是根据超参数历史调整记录训练得到的神经网络模型；

根据所述超参数调整模型输出的超参数调整值调整超参数，并根据调整后的超参数训练所述目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述响应于所述当前前向推导偏差不满足训练完成条件，且当前前向推导偏差和历史前向推导偏差指示进行超参数调整，将所述目标神经网络模型的历史训练数据输入超参数调整模型，包括：

响应于所述当前前向推导偏差大于偏差阈值，确定不满足所述训练完成条件，并获取所述历史前向推导偏差；

根据所述当前前向推导偏差和所述历史前向推导偏差，确定前向推导偏差的变化趋势；

响应于所述变化趋势不符合目标收敛趋势，将所述目标神经网络模型的所述历史训练数据输入所述超参数调整模型。

3.根据权利要求2所述的方法，其特征在于，所述响应于所述变化趋势不符合目标收敛趋势，将所述目标神经网络模型的所述历史训练数据输入所述超参数调整模型之前，所述方法还包括：

确定当前训练进度对应的所述目标收敛趋势，其中，收敛趋势所表征的收敛速率与训练进度呈负相关关系。

4.根据权利要求1至3任一所述的方法，其特征在于，所述训练过程中，获取目标神经网络模型的当前前向推导偏差，包括：

训练过程中，每隔预设训练步数获取所述目标神经网络模型的所述当前前向推导偏差；

所述将所述目标神经网络模型的历史训练数据输入超参数调整模型，包括：

获取至少一组所述历史训练数据，不同组历史训练数据对应不同训练步数，且每组所述历史训练数据中包括历史前向推导结果、所述历史前向推导偏差、历史模型参数、历史模型参数调整量和历史超参数调整值；

将至少一组所述历史训练数据输入所述超参数调整模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述超参数调整模型输出的超参数调整值调整超参数，并根据调整后的超参数训练所述目标神经网络模型，包括：

根据所述超参数调整模型输出的所述超参数调整值调整超参数；

在当前训练步数对应模型参数的基础上，根据调整后的超参数训练所述目标神经网络模型。

6.根据权利要求4所述的方法，其特征在于，所述超参数历史调整记录中包含回退量，所述回退量是根据调整后的超参数进行训练前训练步数的回退步数，所述目标神经网络模型还用于根据所述历史训练数据输出目标回退量；

所述根据所述超参数调整模型输出的超参数调整值调整超参数，并根据调整后的超参数训练所述目标神经网络模型，包括：

根据所述超参数调整模型输出的所述目标回退量以及当前训练步数，确定目标训练步数；

确定所述目标训练步数下所述目标神经网络模型的目标历史模型参数；

根据所述超参数调整模型输出的所述超参数调整值调整超参数，并在所述目标历史模型参数的基础上，根据调整后的超参数训练所述目标神经网络模型。

7.根据权利要求1至3任一所述的方法，其特征在于，所述获取目标神经网络模型的当前前向推导偏差之后，所述方法还包括：

响应于所述当前前向推导偏差满足所述训练完成条件，根据训练过程中超参数的历史调整数据更新所述超参数历史调整记录；

根据更新后的所述超参数历史调整记录训练所述超参数调整模型。

8.根据权利要求1至3任一所述的方法，其特征在于，所述超参数调整模型是根据所述超参数历史调整记录训练得到的长短期记忆LSTM网络。