[发明专利]鲁棒且数据效率的黑盒优化

权利要求书

1.一种计算机实施的方法，包括：

由一个或多个计算设备获得描述机器学习模型的多个参数的当前值的数据；以及

对于一次或多次迭代中的至少一次：

由所述一个或多个计算设备，从非正交采样分布中采样对所述机器学习模型的多个参数的当前值的多个扰动；

由所述一个或多个计算设备，分别为所述多个扰动确定多个性能值，其中每个扰动的性能值是通过由性能估计函数估计所述机器学习模型的性能生成的，所述机器学习模型具有根据所述扰动而被扰动的其参数的当前值；

由所述一个或多个计算设备，针对所述多个扰动和所述多个性能值执行回归，以估计所述性能估计函数的梯度；以及

由所述一个或多个计算设备至少部分地基于所述性能估计函数的估计梯度修改所述机器学习模型的多个参数中的至少一个的当前值；以及

在所述一次或多次迭代之后，由所述一个或多个计算设备提供所述机器学习模型的多个参数的最终值作为输出。

2.根据权利要求1所述的计算机实施的方法，还包括，对于所述一次或多次迭代中的至少一次：

由所述一个或多个计算设备识别包括在与所述多个参数的当前值相关联的信任区域内的一个或多个先前估计的扰动；以及

由所述一个或多个计算设备，将所述一个或多个先前估计的扰动包括在所述多个扰动中；

其中，由所述一个或多个计算设备分别为所述多个扰动确定多个性能值包括由所述一个或多个计算设备分别为所述一个或多个先前估计的扰动重新使用一个或多个先前估计的性能值。

3.根据权利要求2所述的计算机实施的方法，其中，由所述一个或多个计算设备识别包括在所述信任区域内的所述一个或多个先前估计的扰动包括由所述一个或多个计算设备识别所述多个参数的当前值的半径范围内的任何先前估计的扰动。

4.根据权利要求2的所述计算机实施的方法，其中，由所述一个或多个计算设备识别包括在所述信任区域内的一个或多个先前估计的扰动包括，由所述一个或多个计算设备识别最接近所述多个参数的当前值的先前估计的扰动的固定部分。

5.根据任一前述权利要求所述的计算机实施的方法，其中由所述一个或多个计算设备针对所述多个扰动和所述多个性能值执行回归包括由所述一个或多个计算设备基于所述多个扰动和所述多个性能值确定前向有限差分进化策略估计器。

6.根据权利要求1-4中任一权利要求所述的计算机实施的方法，其中，由所述一个或多个计算设备针对所述多个扰动和所述多个性能值执行回归包括由所述一个或多个计算设备基于所述多个扰动和所述多个性能值确定对偶进化策略估计器。

7.根据任一前述权利要求所述的计算机实施的方法，其中所述机器学习模型包括强化学习策略，并且所述性能估计函数包括确定根据所述强化学习策略采取的行动的奖励的奖励函数。

8.根据任一前述权利要求所述的计算机实施的方法，其中所述机器学习模型包括神经网络。

9.根据任一前述权利要求所述的计算机实施的方法，其中所述机器学习模型的参数包括所述机器学习模型的超参数。

10.根据任一前述权利要求所述的计算机实施的方法，其中，所述机器学习模型包括具有权重共享机制的结构化网络。

11.根据任一前述权利要求所述的计算机实施的方法，其中，由所述一个或多个计算设备针对所述多个扰动和所述多个性能值执行回归包括由所述一个或多个计算设备针对所述多个扰动和所述多个性能值执行欠约束线性回归。

12.根据任一前述权利要求所述的计算机实施的方法，其中，由所述一个或多个计算设备针对所述多个扰动和所述多个性能值执行回归包括由所述一个或多个计算设备针对所述多个扰动和所述多个性能值执行L1-或L2-正则化回归。