[发明专利]用于预测模型结构的延时的方法和装置

说明书

本公开涉及人工智能领域。本公开的实施例公开了用于预测模型结构的延时的方法和装置。该方法包括：通过执行训练操作获得训练完成的延时预测模型；利用训练完成的延时预测模型预测目标模型结构在设备运行环境中运行产生的延时；其中，训练操作包括：在预设的网络结构搜索空间中采样出网络结构作为样本模型结构；获取样本模型结构在设备运行环境中运行时产生的实际延时；利用样本模型结构训练预设的延时预测模型；基于样本模型结构在设备的运行环境中运行时产生的实际延时确定训练后的延时预测模型的预测误差，响应于确定预测误差满足预设的收敛条件，得出训练完成的延时预测模型。该方法提升了对模型结构运行时产生的延时的估计结果的准确性。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及用于预测模型结构的延时的方法和装置。

背景技术

随着人工智能技术和数据存储技术的发展，深度神经网络在许多领域的任务中取得了重要的成果。深度神经网络的网络结构对任务的执行效果具有直接的影响，因此，构建最优的神经网络结构成为了深度学习的一个研究热点。

NAS(neural architecture search，自动化神经网络结构搜索)是指用算法代替繁琐的人工操作，自动搜索出最佳的神经网络架构。通常NAS是基于特定的处理器性能约束条件进行的，例如在指定硬件延时约束条件的情况下，搜索出符合该约束条件的神经网络结构。而由于不同的硬件设备的性能不同，同一神经网络结构在不同硬件设备中运行时产生的实际延时可能存在差异。目前的方法是基于已有的硬件设备构建延时表，在网络结构自动搜索过程中根据延时表查找不同网络结构的延时。

发明内容

本公开的实施例提出了用于预测模型结构的延时的方法和装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种用于预测模型结构的延时的方法，包括：通过执行训练操作获得训练完成的延时预测模型；利用训练完成的延时预测模型预测目标模型结构在设备运行环境中运行产生的延时；其中，训练操作包括：在预设的网络结构搜索空间中采样出网络结构作为样本模型结构；获取样本模型结构在设备运行环境中运行时产生的实际延时；利用样本模型结构训练预设的延时预测模型；基于样本模型结构在设备的运行环境中运行时产生的实际延时确定训练后的延时预测模型的预测误差，响应于确定预测误差满足预设的收敛条件，得出训练完成的延时预测模型。

在一些实施例中，上述训练操作还包括：响应于确定预测误差不满足预设的收敛条件，执行下一次训练操作，并且在下一次训练操作中增加采样的网络结构的数量。

在一些实施例中，上述方法还包括：通过执行多次迭代操作生成用于执行目标分类任务的神经网络模型；迭代操作包括：基于预设的控制器从预设的网络结构搜索空间内搜索出当前迭代操作中的候选网络结构；利用训练完成的延时预测模型预测候选网络结构在设备运行环境中运行产生的延时；基于候选网络结构在设备运行环境中运行产生的延时，作为反馈信息返回至控制器，以使控制器根据反馈信息进行更新；响应于确定反馈信息达到预设的条件，将当前迭代操作中的候选网络结构确定为搜索出的用于执行目标分类任务的神经网络模型。

在一些实施例中，上述迭代操作还包括：基于待分类的样本数据训练候选网络结构，得到训练完成的候选网络结构的分类准确率；基于候选网络结构在设备运行环境中运行产生的延时，作为反馈信息返回至控制器，包括：将候选网络结构的分类准确率作为奖励信息，候选网络结构在设备运行环境中运行产生的延时作为惩罚信息，确定出当前迭代操作的反馈信息。

在一些实施例中，上述基于候选网络结构在设备运行环境中运行产生的延时，作为反馈信息返回至控制器，包括：基于待分类的样本数据训练候选网络结构，测试训练后的候选网络结构的实际延时；响应于确定候选网络结构的实际延时超过预测模型预测出的候选网络结构在设备运行环境中运行产生的延时，根据候选网络结构的实际延时与延时预测模型预测出的候选网络结构在设备运行环境中运行产生的延时之间的差异确定当前的反馈信息。