[发明专利]基于反馈的机器学习模型搜索方法、系统、设备及介质

说明书

本发明属于机器学习领域，公开了一种基于反馈的机器学习模型搜索方法、系统、设备及介质，包括获取初始机器学习模型参数，并根据初始机器学习模型参数构建初始机器学习模型；通过预设的训练数据集训练初始机器学习模型，得到初始机器学习模型的训练反馈数据和训练得分；确定当前最优机器学习模型，获取当前最优机器学习模型的训练反馈数据，并根据当前最优机器学习模型的训练反馈数据，得到当前最优机器学习模型的搜索操作；判断是否满足预设的终止条件，不满足时根据当前最优机器学习模型和搜索操作，修改当前最优机器学习模型并作为初始机器学习模型重复上述步骤；满足时输出当前最优机器学习模型，极大的提升了机器学习模型搜索效率。

技术领域

本发明属于机器学习领域，涉及一种基于反馈的机器学习模型搜索方法、系统、设备及介质。

背景技术

随着机器学习在各行各业的广泛应用，如何使没有相关知识基础的用户获取适合于训练任务的机器学习模型，逐渐成为一个重要的问题。现阶段主要通过自动机器学习方法对机器学习模型进行搜索，自动机器学习旨在通过设计一套优化算法自动化地在数据集上搜索性能尽可能好的模型，常见的方法将是机器学习模型考虑为架构和超参数两部分，使用基于替代模型的方法进行搜索。

然而，这种分离的搜索方法无法考虑到架构和超参数之前的互动关系，容易忽视一些可能有效的组合；而且，基于替代模型的算法本质上是将搜索过程视为独立的机器学习问题，以往的搜索历史被视为解决这个问题的数据集。数据集的扩充限制了这种算法的搜索效率，导致了这种方法无法短时间、高效地搜索到适合于训练任务的机器学习模型。

现有针对机器学习模型搜索方法的研究，一般都是改进这种替代模型方法，提出新的机器学习模型来提升搜索的效果，并没有一套真正高效的模型搜索方法，因此，在一定程度上限制了在实际场合的应用。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于反馈的机器学习模型搜索方法、系统、设备及介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种基于反馈的机器学习模型搜索方法，包括以下步骤：

S1：获取初始机器学习模型参数，并根据初始机器学习模型参数构建初始机器学习模型；

S2：通过预设的训练数据集训练初始机器学习模型，得到初始机器学习模型的训练反馈数据和训练得分；

S3：当存在当前最优机器学习模型时，获取当前最优机器学习模型的训练得分，并将当前最优机器学习模型更新为当前最优机器学习模型和初始机器学习模型中训练得分较高者；否则，将初始机器学习模型作为当前最优机器学习模型；

S4：获取当前最优机器学习模型的训练反馈数据，并根据当前最优机器学习模型的训练反馈数据，得到当前最优机器学习模型的搜索操作；

S5：判断是否满足预设的终止条件，当不满足终止条件时，根据当前最优机器学习模型和当前最优机器学习模型的搜索操作，修改当前最优机器学习模型并作为初始机器学习模型返回S2；当满足终止条件时，输出当前最优机器学习模型。

可选的，所述初始机器学习模型参数包括架构信息、超参数信息以及训练信息，其中，架构信息包括网络结构以及网络层关系，超参数信息包括初始化器和激活函数，训练信息包括优化器和学习率。

可选的，所述预设的训练数据集为图像数据集或文本数据集。

可选的，所述训练得分为初始机器学习模型在训练中最高的准确率，所述搜索操作包括改变模型架构、改变模型超参数以及改变模型训练配置，所述预设的终止条件为搜索操作次数达到预设搜索操作次数阈值，或搜索时间达到预设搜索时间阈值。

可选的，所述训练反馈数据包括架构信息、准确率、各层梯度以及参数权重。