[发明专利]机器学习模型超参数推断方法及装置、介质、电子设备

说明书

本公开属于人工智能技术领域，涉及一种机器学习模型超参数推断方法及装置、计算机可读存储介质、电子设备，该机器学习模型超参数推断方法包括：根据初始超参数和与所述初始超参数对应的机器学习模型性能构建一概率模型，得到所述初始超参数与所述机器学习模型性能之间的概率分布关系；通过期望最大化算法计算使所述概率分布关系的对数似然函数具有最大值的目标超参数。该方法能够自动调节超参数，无需手动干预，降低了计算成本。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种机器学习模型超参数推断方法、机器学习模型超参数推断装置、计算机存储介质以及电子设备。

背景技术

随着人工智能(Artificial Intelligence，简称AI)技术的发展，将人工智能技术越来越广泛的被应用到各领域中，如机器人、语言识别、图像识别、自然语言处理和专家系统等。通过人工智能技术使得人们使产品的使用更方便、更易操作，例如通过AI指纹识别开启手机锁、通过人脸识别进行身份认证等等。

机器学习是人工智能的核心，在通过机器学习训练模型的过程中，通常需要选取适当的模型超参数以对模型性能进行调试。当前在数据建模开发项目中，调节或者选取适当的模型超参数是一个很大的难题。超参数手动选择往往会消耗建模专家数月的时间去调节超参数。为了解决手动调参的问题，越来越多的研究员开始探索超参数自动调节算法。常见的自动调节算法包含网格搜索，遗传优化算法以及高斯过程算法。这些算法都需要大量的实验，消耗的资源巨大。例如运用遗传优化算法，往往需要一个大型服务集群，甚至超算中心的算力支持。虽然找到的超参数性能优良，但计算成本实在太高。

因此，本领域亟需一种新的机器学习模型超参数推断方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种机器学习模型超参数推断方法、机器学习模型超参数推断装置、计算机存储介质以及电子设备，进而至少在一定程度上提高超参数调节的效率，降低计算成本。

根据本公开的一个方面，提供一种机器学习模型超参数推断方法，其特征在于，包括：

根据初始超参数和与所述初始超参数对应的机器学习模型性能构建一概率模型，得到所述初始超参数与所述机器学习模型性能之间的概率分布关系；

通过期望最大化算法计算使所述概率分布关系的对数似然函数具有最大值的目标超参数。

在本公开的示例性实施例中，根据初始超参数和与所述初始超参数对应的机器学习模型性能构建一概率模型，包括：

根据初始超参数和与所述初始超参数对应的机器学习模型性能构建一高斯过程模型。

在本公开的示例性实施例中，所述初始超参数包括多个子超参数；根据初始超参数和与所述初始超参数对应的机器学习模型性能构建一概率模型，包括：

将原始图像和多个所述子超参数输入所述机器学习模型进行图像识别；

获取所述机器学习模型输出的预测图像；

根据所述原始图像和所述预测图像之间的匹配程度，确定所述机器学习模型性能；

根据所述初始超参数和所述机器学习模型性能构建所述概率模型。

在本公开的示例性实施例中，所述初始超参数包括第一子超参数、第二子超参数和第三子超参数，其中，所述第一子超参数为学习率，所述第二子超参数为卷积核大小，所述第三子超参数为通道数。

在本公开的示例性实施例中，通过期望最大化算法计算使所述概率分布关系具有极大似然估计值的目标超参数，包括：