[发明专利]高效且安全的无梯度黑盒优化

说明书

一种黑盒优化方法、系统和计算机程序产品包括：使用多个随机方向上的函数值的前向差来实现平均梯度估计器；使用控制变量利用平均梯度估计器的输出来执行经由梯度混合的方差减小；以及执行方差减小的结果的二进制量化。

技术领域

本发明总体上涉及黑盒优化方法，并且更具体地但非限制性地涉及通过朝向一阶情况改进零阶(ZO)方法的收敛速率并且最小化在ZO梯度估计中使用的信息来进行黑盒优化的系统、方法和计算机程序产品。

背景技术

零阶(无梯度)优化关于在难以或无法获取梯度的显式表达式的情况下解决机器学习(ML)问题方面引起了越来越多的关注。

一种常规技术生成规避预测的对抗性示例(例如，具有无法察觉的扰动的制作的图像以将经良好训练的图像分类器欺骗为错误分类)。但是，黑盒(即，测试人员不知道正在测试的物品的内部结构/设计实现)优化性质限制了对抗性示例的实际设计，其中公共ML系统的内部配置和操作机制没有揭示给从业者，并且与系统交互的唯一模式是经由提交输入并且接收对应的预测输出。

发明内容

因此，发明人在白盒(即，其中测试人员已知正在测试的物品的内部结构/设计实现)和黑盒设置中都观察到，仅利用攻击损失的梯度估计的符号信息就能够在生成对抗性示例时实现出色的经验表现。受此启发，发明人提出了一种基于零阶(ZO)符号的下降算法(例如，“ZO-signSGD”)来解决黑盒优化问题(例如，黑盒对抗性示例的设计)。

在示例性实施例中，本发明提供了一种计算机实现的黑盒优化方法，该方法包括：使用多个随机方向上的函数值的前向差来实现平均梯度估计器；使用控制变量利用平均梯度估计器的输出来执行经由梯度混合的方差减小；以及执行方差减小的结果的二进制量化。

基于上述方法，一个或多个其他示例性实施例包括一种计算机程序产品和一种系统。

下面将描述本发明的其他细节和实施例，以便可以更好地理解对本领域的当前贡献。然而，本发明在其应用方面不限于在说明书中阐述的或在附图中示出的这些细节、措辞、术语、图示和/或布置。而是，本发明能够具有除了所描述的实施例之外的其他实施例，并且能够以各种方式来实践和执行，而不应当被认为是限制性的。

这样，本领域技术人员将认识到，本公开所基于的概念可以容易地用作设计用于实现本发明的几个目的的其他结构、方法和系统的基础。因此，重要的是，在不背离本发明的精神和范围的前提下，权利要求被认为包括这样的等同构造。

附图说明

通过以下参考附图对本发明的示例性实施例的详细描述，将能够更好地理解本发明的各方面，在附图中：

图1示例性地描绘了根据本发明的实施例的黑盒优化方法100的高级流程图；

图2示例性地描绘了根据本发明的实施例的本发明的流程；

图3示例性地描绘了根据本发明的实施例的第一算法；

图4(a)-6示例性地描绘了根据本发明的实施例的结果；

图7描绘了根据本发明的实施例的云计算节点10；

图8描绘了根据本发明的实施例的云计算环境50；以及

图9描绘了根据本发明的实施例的抽象模型层。

具体实施方式

现在将参考图1-9描述本发明，其中相同的附图标记始终表示相同的部分。要强调的是，根据惯例，附图的各种特征不一定按比例绘制。相反，为了清楚起见，可以任意地扩大或缩小各种特征的尺寸。

通过介绍图1中描绘的示例，根据本发明的黑盒优化方法100的实施例可以包括用于高效且安全的无梯度优化的各种步骤。