[发明专利]保护推理引擎免受模型检索攻击

说明书

本文公开了保护推理引擎免受模型检索攻击的电子处理系统、半导体封装装置和方法。半导体封装装置的实施例可以包括技术以用于执行对推理引擎的机器学习模型的输入和输出的运行时分析，基于运行时分析检测指示对检索机器学习模型的尝试的活动，以及在检测到指示尝试的模型检索的活动时执行一个或多个预防措施。公开并要求保护了其它实施例。

技术领域

实施例总体上涉及机器学习系统。更具体而言，实施例涉及保护推理引擎免受模型检索攻击。

背景技术

推理引擎可以包括机器学习(ML)模型。可以训练模型以响应于输入数据集而提供一个或多个输出。利用合适的模型(例如，神经网络(NN)模型)和训练，推理引擎可以提供人工智能(AI)特征，例如模式识别/预测、图像/对象识别、语音/话语识别等。

附图说明

通过阅读以下说明书和所附权利要求，并通过参考以下附图，实施例的各种优点对于本领域技术人员将是显而易见的，在附图中：

图1是根据实施例的电子处理系统的示例的框图；

图2是根据实施例的半导体封装装置的示例的框图；

图3A至图3C是根据实施例的禁止模型检索的方法的示例的流程图；

图4是根据实施例的模型检索攻击的示例的说明图；

图5A和图5B是根据实施例的训练和推理数据集的示例的说明图；

图6A和图6B是根据实施例的训练和推理数据集的计数与置信度对比的说明曲线图；

图7是根据实施例的推理系统的示例的框图；

图8是根据实施例的流执行器的示例的说明图；

图9是根据实施例的禁止模型检索的方法的另一示例的流程图；

图10是根据实施例的计算设备的示例的框图；

图11是根据实施例的处理器的示例的框图；以及

图12是根据实施例的计算系统的示例的框图。

具体实施方式

现在转向图1，电子处理系统10的实施例可以包括推理引擎11、以及通信地耦合到推理引擎11的模型检索阻止器(MRB)12。MRB 12可以包括逻辑单元13，以执行推理引擎11的机器学习模型的输入和输出的运行时分析，基于运行时分析检测指示检索机器学习模型的尝试的活动，并在检测到指示尝试的模型检索的活动时执行一个或多个预防措施。在一些实施例中，逻辑单元13还可以被配置为至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个。在一些实施例中，逻辑单元13可以被配置为检测与机器学习模型的使用相关的异常。例如，使用异常可以基于以下中的一个或多个：模型检索查询模式和训练模式之间的相似性、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集和推理数据集之间的分类的统计分布之间的差异。在一些实施例中，逻辑单元13还可以被配置为基于检测到的异常在机器学习模型中的一个或多个流执行点处实行流。例如，一个或多个预防措施可以包括机器学习模型的流的中断、机器学习模型的执行中的延迟的引入、机器学习模型的输出的修改、与模型检索尝试相关的信息日志的创建、以及模型检索尝试的通知中的一个或多个。在一些实施例中，MRB 12和/或逻辑单元13可以位于各种部件中，或者与各种部件共处一处，所述各种部件包括推理引擎11(例如，在相同管芯上)。