[发明专利]一种并行贝叶斯优化方法

说明书

本发明公开了一种并行贝叶斯优化方法，属于贝叶斯优化技术领域，其中一种并行贝叶斯优化方法，包括：采用超参数服务器架构实现了对全局超参数的同步和目标函数的并行化评估；采用高斯随机过程对目标函数进行建模，建模时结合了最佳似然估计准则动态寻找最佳适应的核函数；采用并行化的期望提升算法对超参数空间进行采样。本发明提供了一种并行贝叶斯优化方法，能够较准确、快速地解决计算成本高的复杂优化问题。

技术领域

本发明属于贝叶斯优化技术领域，具体涉及一种并行贝叶斯优化方法。

背景技术

作为一种十分有效的全局优化算法，近年来，贝叶斯优化方法在设计类问题上被广泛应用。通过设计恰当的概率代理模型和采集函数，贝叶斯优化框架只需经过少数次目标函数评估即可获得理想解，非常适用于求解目标函数表达式未知、非凸、多峰和评估代价高昂的复杂优化问题。

本专利提出了一种并行贝叶斯优化方法，降低了人们在使用代理模型中选择核函数的困难，并加速了整个优化过程。

发明内容

本发明的目的在于降低人们在使用代理模型中选择核函数的困难，并加速了整个优化过程。

为了实现上述目的，本发明一实施例提供的技术方案如下：

一种并行贝叶斯优化方法，所述方法包括：采用超参数服务器架构实现了对全局超参数的同步和目标函数的并行化评估；采用高斯随机过程对目标函数进行建模，建模时结合了最佳似然估计准则动态寻找最佳适应的核函数；采用并行化的期望提升算法对超参数空间进行采样；

步骤如下：

步骤(1)，Spark的主节点使用广播机制广播超参数到spark的计算节点；

步骤(2)，通过map方式目标函数进行并行化评估；

步骤(3)，通过reduce方式收集评估结果；

步骤(4)，利用高斯过程对超参数和评估结果进行拟合；

步骤(5)，利用最佳似然准则选取具有最合适核函数的高斯过程模型；

步骤(6)，利用最大化具有不同ξ的EI寻找多个可能的最佳采样点；

步骤(7)，进入下一轮迭代。

在进一步的实施例中，采用超参数服务器架构实现对全局超参数的同步和目标函数的并行化评估包括：超参数服务器管理全局超参数，包括生成、分发、回收超参数；目标函数在各个计算节点进行并行计算。

在进一步的实施例中，最佳似然估计准则动态寻找最佳适应的核函数包括：核函数是非确定的，是由最佳似然估计准则来动态确定核函数。

在进一步的实施例中，采用并行化的期望提升算法对超参数空间进行采样包括：同时设置多组期望提升算法的参数，实现并行采样。

在进一步的实施例中，超参数服务器管理全局超参数，包括：利用Spark的主节点来管理。其中分发超参数采用Spark的广播机制，回收超参数采用Spark的collect方法来实现。

在进一步的实施例中，采用高斯过程对目标函数进行建模包括：设x1,x2,x3,…,xn采样自目标函数的定义域，f( )为目标函数，假设p(f(x₁),f(x₂),f(x₃)...,f(x_n))服从联合概率分布：

p(f|X)＝N(f|u,K)

其中f＝f(x1),f(x2),f(x3)…,f(xn)，X＝x1,x2,x3,…,xn，N为高斯分布，u为均值，K为协方差矩阵；

协方差矩阵K的每个元素是k(x1,x2)，k是核函数；