[发明专利]创建用于识别特定机器学习模型的签名

权利要求书

1.一种方法，包括：

通过计算机系统访问机器学习模型和多个样本，所述多个样本利用训练数据内的多个类别中的单独原始类别进行分类，所述训练数据用于训练机器学习模型以识别所述多个类别，其中所述机器学习模型是专有的并对用户表现为黑盒子；

通过所述计算机系统生成多个合成样本，合成样本包括所述多个样本中的单独样本，其中基于扭曲与单独样本相关联的比特的比特模式来扭曲单独样本，以诱导机器学习模型将所述单独样本错误分类到与所述单独样本的原始类别不同的类别，并且其中所述扭曲对人眼不可见；以及

通过所述计算机系统从所述多个合成样本和多个返回的类别标签的混淆矩阵创建合成样本签名，用于在运行时验证机器学习模型的身份，返回的类别标签标识如根据在机器学习模型上运行所述多个合成样本而从所述多个合成样本的实际分类确定的所述多个类别中的单独类别，其中所述多个合成样本被组织为对应于合成样本签名的混淆矩阵的元素。

2.如权利要求1所述的方法，其中访问机器学习模型和多个样本还包括：

通过所述计算机系统选择所述多个样本的子集，其中为所述多个类别选择一个或多个样本。

3.如权利要求1所述的方法，其中生成多个合成样本还包括：

通过所述计算机系统对单独样本应用对抗性变换来扭曲单独样本的第二选择比特，以诱导机器学习模型将单独样本错误分类为所述多个类别中除了所述单独原始类别之外的第二组不同类别。

4.如权利要求1所述的方法，还包括：

通过所述计算机系统将所述多个合成样本发送到机器学习模型作为样本输入；以及

通过所述计算机系统为所述多个合成样本从机器学习模型中检索单独的返回的类别标签，其中单独的返回的类别标签指定所述多个类别中的由机器学习模型针对单独的合成样本分类的类别。

5.如权利要求1所述的方法，其中创建合成样本签名还包括：

通过所述计算机系统为所述多个合成样本从机器学习模型接收单独的返回的类别标签；以及

通过所述计算机系统在混淆矩阵中组织所述多个返回的类别标签中的单独的返回的类别标签，所述混淆矩阵的尺寸为所述多个类别的尺寸乘以所述多个类别的尺寸，其中所述混淆矩阵中的条目与合成样本签名中的所述多个合成样本中的特定合成样本相关联。

6.如权利要求1所述的方法，还包括：

通过所述计算机系统输出用于一个或多个应用编程接口API上运行的合成样本签名，其中所述一个或多个API提供对一个或多个服务的访问，其中所述一个或多个服务返回结果，其中所述结果至少包括对所述多个类别的选择，其中所述多个合成样本是在所述一个或多个服务上运行的有效输入，其中在所述一个或多个服务上运行所述多个合成样本的结果与所述混淆矩阵的比较指示所述一个或多个服务是否正在运行用于提供所述一个或多个服务的机器学习模型。

7.一种计算机系统，包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读存储设备和程序指令，所述程序指令存储在所述一个或多个存储设备中的至少一个存储设备上、用于由所述一个或多个处理器中的至少一个处理器经由所述一个或多个存储器中的至少一个存储器执行，所存储的程序指令能够由计算机执行以使所述计算机执行如前述权利要求1至6中任一项所述的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质具有与其一起实施的程序指令，其中所述计算机可读存储介质本身不是瞬态信号，所述程序指令能够由计算机执行以使所述计算机执行如权利要求1至6中任一项所述的方法的步骤。