[发明专利]对不可信的机器学习系统的主动防御

说明书

公开了一种用于在恶意计算机的机器学习模型中引起模型偏移的方法和系统。数据处理器可以确定恶意计算机使用具有边界函数的机器学习模型来确定结果。然后，所述数据处理器可以生成意在使所述边界函数偏移的转换数据，接着将所述转换数据提供给所述恶意计算机。所述数据处理器可以重复生成和提供所述转换数据，进而使所述边界函数随时间偏移。

背景技术

随着机器学习系统变得越来越稳健、高效和精确，机器学习已应用于越来越多的学术、工业和安全应用。具体地说，机器学习分类器已越来越多地用于需要谨慎决策的自动化复杂流程。

机器学习分类器是一种学习在属于多种类别的输入数据之间进行区分的机器学习模型。例如，机器学习分类器可以用于在真实新闻报道与虚假新闻报道、合法电子邮件与垃圾电子邮件、各种图像(例如，在狗的图像与猫的图像之间)或字母数字字符之间进行区分。在训练阶段，机器学习分类器可以学习识别标记的训练数据中的模式。之后，在产出阶段，机器学习分类器可以使用这些识别的模式来产生对应于输入数据的分类数据，例如将新闻报道(输入数据)分类为虚假新闻(分类数据)。

恶意实体(例如，黑客)可以使用例如机器学习分类器的机器学习模型来执行恶意攻击。例如，恶意实体可以使用机器学习分类器来对图像或字母数字字符进行分类，以绕过全自动区分计算机和人类的图灵测试(completely automated public Turing test totell computers and humans apart，CAPTCHA)系统。在CAPTCHA系统中，用户可能需要选择对应于主题的图像(例如，狗的图像)，或基于屏幕上显示的字符正确地键入一串字母数字字符，以获得对系统的访问权。恶意机器学习分类器可以用于对图像(例如，狗的图像)进行分类，使得恶意机器学习分类器可以执行CAPTCHA并获得对系统的访问权。

目前，在发现恶意计算机的恶意动作之后，可以将所述恶意计算机列入黑名单，使得所述恶意计算机无法再尝试CAPTCHA。然而，恶意计算机可以仅使用VPN等以使用新的IP地址，从而避免被列入黑名单。

本发明的实施例个别地和共同地解决此问题和其它问题。

发明内容

本发明的实施例涉及用于随时间在恶意实体的机器学习模型中引起模型偏移的方法和系统。模型偏移可以指其中机器学习模型由于新训练数据包括在训练数据集中而随时间改变的过程。例如，机器学习分类器中的模型偏移可以表现为机器学习分类器产生的分类的变化，例如图像分类器将图像分类为狗，但稍后却将相同的图像分类为猫。数据处理器可以生成意在于恶意机器学习模型中引起模型偏移的转换数据。模型偏移可以防止恶意计算机使用恶意机器学习模型执行恶意攻击。

一个实施例涉及一种方法，包括：a)由数据处理器确定恶意计算机使用具有边界函数的机器学习模型来确定结果；b)由所述数据处理器生成意在使所述边界函数偏移的转换数据；c)由所述数据处理器将所述转换数据提供给所述恶意计算机；以及d)由所述数据处理器重复步骤b)和c)，进而使所述边界函数随时间偏移。

另一实施例涉及一种数据处理器，包括：处理器；存储器装置；以及计算机可读介质，其耦合到所述处理器，所述计算机可读介质包括可由所述处理器执行以实施方法的代码，所述方法包括：a)确定恶意计算机使用具有边界函数的机器学习模型来确定结果；b)生成意在使所述边界函数偏移的转换数据；c)将所述转换数据提供给所述恶意计算机；以及d)重复步骤b)和c)，进而使所述边界函数随时间偏移。

在描述本发明的具体实施例之前，可以详细地描述一些术语。

术语

“服务器计算机”可以包括功能强大的计算机或计算机群集。例如，服务器计算机可以是大型主机、小型计算机群集或像单元一样工作的一组服务器。在一个实例中，服务器计算机可以是耦合到网络服务器的数据库服务器。服务器计算机可包括一个或多个计算设备，并且可使用各种计算结构、布置和编译中的任一种来服务来自一个或多个客户端计算机的请求。