[发明专利]深度学习模型训练方法及其装置、电子设备及存储介质

说明书

本申请实施例提供了一种深度学习模型训练方法、装置、电子设备及存储介质，方法包括：基于样本数据迭代训练深度学习模型，并在每轮迭代训练后判断深度学习模型的参数是否为局部最优参数；若是，基于参数变异率对深度学习模型的参数进行变异；判断变异次数是否达到设定次数，若是，则将局部最优参数确定为深度学习模型的最终参数；若否，则基于变异后的参数继续迭代训练深度学习模型；判断深度学习模型的损失值是否优于基于局部最优参数计算的损失值；若是，则将参数变异率重置为初始值，并返回基于样本数据迭代训练深度学习模型的步骤；若否，返回基于参数变异率对深度学习模型的参数进行变异的步骤。从而能够确定全局最优参数。

技术领域

本申请涉及深度学习技术领域，特别是涉及一种深度学习模型训练方法及其装置、电子设备及存储介质。

背景技术

在深度学习算法中，需要一个损失函数来描述模型输出值与真实值之间的差异，并根据该差异引导深度学习的优化方向，例如采用梯度下降法朝着该差异不断变小的方向进行优化，优化深度学习模型的过程也可以理解为调整深度学习模型中参数的过程。

然而，对于复杂数据场景，例如语音识别等场景，需要设置复杂的损失函数，可能存在多个函数波底。

采用现有的深度学习模型训练方法，如果损失函数较复杂，则可能只得到模型参数的局部最优参数，无法得到模型参数的全局最优参数，导致最终深度学习模型训练效果较差。

发明内容

本申请实施例的目的在于提供一种深度学习模型训练方法及其装置、电子设备及存储介质，以确定深度学习模型的全局最优参数，提高深度学习模型训练效果。具体技术方案如下：

为实现上述目的，本申请实施例提供了一种深度学习模型训练方法，所述方法包括：

基于样本数据迭代训练深度学习模型，并在每轮迭代训练后判断所述深度学习模型的参数是否为局部最优参数；

若是，基于参数变异率对所述深度学习模型的参数进行变异，计算记录基于参数变异率对所述深度学习模型的参数进行变异的变异次数；

判断所述变异次数是否达到设定次数，若是，则将所述局部最优参数确定为所述深度学习模型的最终参数，得到目标深度学习模型；

若否，则基于变异后的参数继续迭代训练所述深度学习模型，针对基于变异后的参数迭代训练的所述深度学习模型，判断所述深度学习模型的损失值是否优于基于所述局部最优参数计算的损失值；其中，损失值表示以所述深度学习模型的参数为变量的损失函数的值；

若是，则将所述参数变异率重置为初始值，并返回基于样本数据迭代训练深度学习模型的步骤；

若否，返回所述基于参数变异率对所述深度学习模型的参数进行变异的步骤。

可选的，所述基于参数变异率对所述深度学习模型的参数进行变异，包括：

以所述参数变异率对所述深度学习模型的参数进行随机替换，得到变异后的参数。

可选的，在基于参数变异率对所述深度学习模型的参数进行变异时，逐步增大参数变异率对所述深度学习模型的参数进行变异。

可选的，所述参数变异率的初始值为零。

可选的，所述深度学习模型为语音识别深度学习模型，所述样本数据为语音样本数据。

为实现上述目的，本申请实施例还提供了一种深度学习模型训练装置，所述装置包括：

训练模块，用于基于样本数据迭代训练深度学习模型，并在每轮迭代训练后判断所述深度学习模型的参数是否为局部最优参数；

第一变异模块，用于若得到局部最优参数，基于参数变异率对所述深度学习模型的参数进行变异，记录基于参数变异率对所述深度学习模型的参数进行变异的变异次数；

变异次数判断模块，用于判断所述变异次数是否达到设定次数；