[发明专利]模型生成方法和装置

权利要求书

1.一种模型生成方法，包括：

获取待训练模型的学习率；

基于所述待训练模型的梯度值，确定尺度因子；

根据所述尺度因子和所述学习率，生成尺度变换后学习率，包括：将所述尺度因子与所述学习率的乘积，确定为所述尺度变换后学习率；

基于所述尺度变换后学习率，更新所述待训练模型的权重。

2.根据权利要求1所述的方法，其中，所述基于所述待训练模型的梯度值，确定尺度因子，包括：

将所述待训练模型的待更新层的梯度值，确定为第一梯度值；

根据所述第一梯度值和所述待更新层中的权重的当前权重值，确定所述待更新层的尺度因子。

3.根据权利要求2所述的方法，其中，所述根据所述尺度因子和所述学习率，生成尺度变换后学习率，包括：

根据所述待更新层的尺度因子和所述待更新层的学习率，生成所述待更新层的尺度变换后学习率；以及

所述基于所述尺度变换后学习率，更新所述待训练模型的权重，包括：

根据所述待更新层的尺度变换后学习率、所述待更新层的权重的当前权重值和所述第一梯度值，生成所述待更新层的权重的新权重值。

4.根据权利要求1所述的方法，其中，所述基于所述待训练模型的梯度值，确定尺度因子，包括：

将所述待训练模型的待更新权重的梯度值，确定为第二梯度值；

基于所述第二梯度值和待更新权重的当前权重值，确定所述待更新权重的尺度因子。

5.根据权利要求4所述的方法，其中，所述根据所述尺度因子和所述学习率，生成尺度变换后学习率，包括：

根据所述待更新权重的尺度因子和所述待更新权重所在待更新层的学习率，生成所述待更新权重的尺度变换后学习率；以及

所述基于所述尺度变换后学习率，更新所述待训练模型的权重，包括：

根据所述待更新权重的尺度变换后学习率、所述待更新权重的当前权重值和所述第二梯度值，生成所述待更新权重的新权重。

6.根据权利要求4所述的方法，其中，所述待更新权重所在的待更新层包括至少两个权重；以及

所述基于所述第二梯度值和待更新权重的当前权重值，确定所述待更新权重的尺度因子，包括：

根据所述至少两个权重的权重值和所述第二梯度值，确定所述待更新权重的尺度因子。

7.根据权利要求1所述的方法，其中，所述基于所述尺度变换后学习率，更新所述待训练模型的权重，包括：

将尺度变换后学习率与梯度值的乘积，确定为权重变量；

将待更新权重的当前权重值与所述权重变量的差值，确定为待更新权重的新权重值。

8.根据权利要求1-6中任一项所述的方法，其中，学习率在所述待训练模型的训练过程中根据迭代次数而改变。

9.一种模型生成装置，包括：

获取单元，被配置成获取待训练模型的学习率；

确定单元，被配置成基于所述待训练模型的梯度值，确定尺度因子；

生成单元，被配置成根据所述尺度因子和所述学习率，生成尺度变换后学习率；

更新单元，被配置成基于所述尺度变换后学习率，更新所述待训练模型的权重；

其中，所述生成单元，还被配置成：将所述尺度因子与所述学习率的乘积，确定为所述尺度变换后学习率。

10.根据权利要求9所述的装置，其中，所述确定单元，还被配置成：

将所述待训练模型的待更新层的梯度值，确定为第一梯度值；

根据所述第一梯度值和所述待更新层中的权重的当前权重值，确定所述待更新层的尺度因子。