[发明专利]语义表示模型的训练方法、装置、设备和存储介质

权利要求书

1.一种语义表示模型的训练方法，包括：

获取当前轮对应的当前步数；

基于所述当前步数，确定语义表示模型采用的超参数的当前值；

在所述当前轮中，基于所述超参数的所述当前值，训练所述语义表示模型。

2.根据权利要求1所述的方法，其中，所述超参数包括：学习率、批处理样本量或者序列长度，所述基于所述当前步数，确定语义表示模型采用的超参数的当前值，包括：

若所述当前步数小于或等于预设步数，基于所述超参数对应的初始值和最大值确定步长；以及，基于所述当前步数和所述步长，确定与所述当前步数成正向关系的所述超参数的当前值。

3.根据权利要求1所述的方法，其中，所述超参数包括：随机丢失率，所述基于所述当前步数，确定语义表示模型采用的超参数的当前值，包括：

若所述当前步数小于或等于预设步数，确定所述随机丢失率对应的当前值保持为第一值；

若所述当前步数大于预设步数，确定所述随机丢失率对应的当前值保持为第二值；

所述第二值大于所述第一值。

4.根据权利要求1所述的方法，其中，所述超参数包括：学习率，所述基于所述当前步数，确定语义表示模型采用的超参数的当前值，包括：

若所述当前步数大于预设步数，基于所述超参数对应的初始值和最大值确定步长；以及，基于所述当前步数和所述步长，确定与所述当前步数成反向关系的所述超参数的当前值。

5.根据权利要求1所述的方法，其中，所述超参数包括：批处理样本量或者序列长度，所述基于所述当前步数，确定语义表示模型采用的超参数的当前值，包括：

若所述当前步数大于预设步数，保持所述超参数的当前值为对应的超参数最大值。

6.根据权利要求1-5任一项所述的方法，其中，所述超参数包括：学习率、批处理样本量、序列长度和随机丢失率，所述在所述当前轮中，基于所述超参数的所述当前值，训练所述语义表示模型，包括：

在所有样本中选择数量为所述批处理样本量的样本作为当前批次样本，所述样本包括：文本样本、图像样本或者语音样本；

基于所述序列长度处理所述当前批次样本，以获得长度为所述序列长度的待处理样本；

基于所述随机丢弃率确定待采用神经元；

基于所述待采用神经元，对所述待处理样本进行处理，以获得所述待处理样本对应的预测值；

基于所述预测值和所述待处理样本对应的真实值，构建损失函数；

基于所述损失函数和所述学习率，调整所述语义表示模型的模型参数。

7.一种语义表示模型的训练装置，包括：

获取模块，用于获取当前轮对应的当前步数；

确定模块，用于基于所述当前步数，确定语义表示模型采用的超参数的当前值；

训练模块，用于在所述当前轮中，基于所述超参数的所述当前值，训练所述语义表示模型。

8.根据权利要求7所述的方法，其中，所述超参数包括：学习率、批处理样本量或者序列长度，所述确定模块具体用于：

若所述当前步数小于或等于预设步数，基于所述超参数对应的初始值和最大值确定步长；以及，基于所述当前步数和所述步长，确定与所述当前步数成正向关系的所述超参数的当前值。

9.根据权利要求7所述的方法，其中，所述超参数包括：随机丢失率，所述基于所述当前步数，所述确定模块具体用于：

若所述当前步数小于或等于预设步数，确定所述随机丢失率对应的当前值保持为第一值；

若所述当前步数大于预设步数，确定所述随机丢失率对应的当前值保持为第二值；

所述第二值大于所述第一值。