[发明专利]模型训练方法、装置和电子设备

权利要求书

1.一种模型训练方法，包括：

获取训练样本；

利用所述训练样本训练模型，对所述模型的模型参数进行更新；

在每次训练的过程中，响应于所述模型参数更新结束，对所述模型参数进行归一化处理。

2.根据权利要求1所述的方法，其中，所述对所述模型参数进行归一化处理，包括：

响应于本次参与训练的模型层数小于所述模型的实际层数，基于所述模型所有层的模型参数，确定所述模型对应的整体量化参数；

基于所述整体量化参数，对所述模型中的每层的模型参数进行归一化处理。

3.根据权利要求1所述的方法，其中，所述对所述模型参数进行归一化处理，包括：

响应于本次参与训练的模型层数等于所述模型的实际层数，基于所述模型的任一层的模型参数，确定所述任一层对应的单元量化参数；

基于所述单元量化参数，对所述任一层的模型参数进行归一化处理。

4.根据权利要求1所述的方法，其中，所述利用所述训练样本训练所述模型，包括：

获取所述模型的卷积核的实际尺寸；

根据所述实际尺寸和预设间隔尺寸，生成所述卷积核的候选训练尺寸；

利用所述训练样本训练所述模型，其中，所述模型的卷积核的尺寸为任一所述候选训练尺寸。

5.根据权利要求1-4任一项所述的方法，其中，所述模型包括多个子模型，至少两个子模型之间具有重合的模型参数。

6.根据权利要求5所述的方法，其中，所述利用所述训练样本训练所述模型，对所述模型的模型参数进行更新，包括：

利用所述训练样本训练所述子模型，对所述子模型的模型参数进行更新；

基于所述子模型的更新后的模型参数，对所述模型的其余子模型的模型参数进行更新。

7.一种模型训练装置，包括：

获取模块，用于获取训练样本；

更新模块，用于利用所述训练样本训练模型，对所述模型的模型参数进行更新；

归一化模块，用于在每次训练的过程中，响应于所述模型参数更新结束，对所述模型参数进行归一化处理。

8.根据权利要求7所述的装置，其中，所述归一化模块，具体用于：

响应于本次参与训练的模型层数小于所述模型的实际层数，基于所述模型所有层的模型参数，确定所述模型对应的整体量化参数；

基于所述整体量化参数，对所述模型中的每层的模型参数进行归一化处理。

9.根据权利要求7所述的装置，其中，所述归一化模块，具体用于：

响应于本次参与训练的模型层数等于所述模型的实际层数，基于所述模型的任一层的模型参数，确定所述任一层对应的单元量化参数；

基于所述单元量化参数，对所述任一层的模型参数进行归一化处理。

10.根据权利要求7所述的装置，其中，所述更新模块，具体用于：

获取所述模型的卷积核的实际尺寸；

根据所述实际尺寸和预设间隔尺寸，生成所述卷积核的候选训练尺寸；

利用所述训练样本训练所述模型，其中，所述模型的卷积核的尺寸为任一所述候选训练尺寸。

11.根据权利要求7-10任一项所述的装置，其中，所述模型包括多个子模型，至少两个子模型之间具有重合的模型参数。

12.根据权利要求11所述的装置，其中，所述更新模块，具体用于：

利用所述训练样本训练所述子模型，对所述子模型的模型参数进行更新；

基于所述子模型的更新后的模型参数，对所述模型的其余子模型的模型参数进行更新。