[发明专利]训练模型的训练时长预测方法及装置

说明书

本发明提供一种训练模型的训练时长预测方法及装置，包括：当训练模型进行迭代训练时，确定训练模型的当前迭代训练的训练时长；获取与当前迭代训练对应的第一预测训练时长；将训练时长输入预先训练完成的LSTM模型中，得到LSTM模型输出的第二预测训练时长；依据第一预测训练时长，和预设的卡尔曼滤波算法对第二预测训练时长进行修正，得到修正后的修正预测训练时长，将修正预测训练时长保存至预设的数据表中；将修正预测训练时长确定为训练模型的下一次迭代训练的预测训练时长。本发明应用LSTM模型得到训练模型进行下一次迭代训练的预测训练时长，并应用卡尔曼滤波算法对预测训练时长进行修正，以得到更加准确的预测训练时长。

技术领域

本发明涉及计算机技术领域，特别涉及一种训练模型的训练时长预测方法及装置。

背景技术

随着人工智能的普及，越来越多的深度学习训练模型开始涌现出来。深度学习训练模型在开始应用之前需要进行训练，以便深度学习训练模型达到预设的准确度。深度学习训练模型在进行训练时，需要预测训练模型的训练时长，现有的对训练模型的训练时长进行预测时，大多通过以一个迭代为基准，将之前的各迭代所用时长求平均，再乘以迭代数求出大概的所用时长，得到的时间即对训练模型的预测时长。

经发明人研究发现，现有的预测训练模型的预测方法普遍应用于单机单卡且没有异常状况的简单预测，应用于多机多卡的分布式训练模型中时，多机多卡存在很多突发性问题，例如某一节点重启，某一节点GPU发生掉卡等特殊状况，对训练时长的预测结果有很大的干扰，降低了对训练模型预测的训练时长的准确性。

发明内容

有鉴于此，本发明提供一种训练模型的训练时长预测方法，应用本发明可以预测训练模型中进行下一次迭代训练的预测训练时长，可提高预测得到的预测时长的准确度。本发明还提供了一种训练模型的训练时长预测装置，用以保证上述方法在实际中的实现及应用。

一种训练模型的训练时长预测方法，包括：

当训练模型进行迭代训练时，确定所述训练模型的当前迭代训练的训练时长；

获取与所述当前迭代训练对应的第一预测训练时长；

将所述训练时长输入预先训练完成的长短期记忆网络LSTM模型中，得到所述LSTM模型输出的第二预测训练时长；

依据所述第一预测训练时长，并应用预设的卡尔曼滤波算法对所述第二预测训练时长进行修正，得到与所述第二预测训练时长对应的修正预测训练时长，将所述修正预测训练时长保存至预设的数据表中；

将所述修正预测训练时长确定为所述训练模型的下一次迭代训练的预测训练时长。

上述的方法，可选的，所述获取与所述当前迭代训练对应的第一预测训练时长，包括：

获取数据库中预设的数据表，并确定所述当前迭代训练的迭代标识；

将所述数据表中与所述迭代标识对应的预测训练时长确定为第一预测训练时长。

上述的方法，可选的，所述将所述训练时长输入预先训练完成的长短期记忆网络LSTM模型中，得到所述LSTM模型输出的第二预测训练时长，包括：

获取所述训练时长的特征参数；

应用所述LSTM模型中的时长预测方法，对所述特征参数进行分析，得到与所述特征参数对应的预测时长；

将所述预测时长确定为第二预测训练时长。

上述的方法，可选的，所述依据所述第一预测训练时长，并应用预设的卡尔曼滤波算法对所述第二预测训练时长进行修正，得到与所述第二预测训练时长对应的修正预测训练时长，包括：

获取所述第一预测训练时长的修正权重，以及所述第二预测训练时长的时长属性；