[发明专利]一种部署的加密模型的安全性审计的方法和系统

说明书

本公开提供了一种用于部署的加密模型的安全性审计的方案，部署的加密模型是由数据需求方利用公钥进行同态加密后生成的，其中所述方案包括：数据源方向数据需求方发送对模型服务进行测试的测试请求，测试请求包括通过输入测试参数到数据源方所部署的密文模型而生成的用于测试的第一密文模型结果；数据需求方使用与公钥相对应的私钥将接收到的测试请求中包括的第一密文模型结果解密成明文模型结果，并将明文模型结果回传给数据源方；以及数据源方利用数据需求方先前提供的公钥对接收到的明文模型结果加密以生成第二密文模型结果，并通过将第一密文模型结果与第二密文模型结果进行比较以确定它们的一致性来审计模型服务的安全性风险。

技术领域

本公开涉及模型安全性领域，具体而言，涉及一种部署的加密模型安全性的审计方案。

背景技术

随着互联网技术的不断发展和云计算概念的诞生，越来越多的公司和用户倾向于通过互联网来进行数据通信。由此，许多公司在自己的平台上建立起各种数据模型来处理来自各种源的各种类型的数据，所述处理包括：接收、计算、更新、存储、发送等各种数据操作。例如，一种被广泛使用的数据模型是机器学习模型，机器学习模型可通过模拟或实现人类的学习行为，来获取新的知识或技能，重新组织已有的知识结构，进而不断改善自身的性能。它是人工智能的核心，是计算机具有人工智能的关键技术，其应用遍及人工智能的各个领域。它主要使用数据的归纳、综合而不是演绎。由于机器学习模型是对所收集的数据的归纳和综合，那么，随之而来的就是数据模型的安全性问题，即如何保证机器学习模型的模型安全性。例如，对于很多风控模型来说，为了规避所述风控模型监测到用户的异常行为，很多“恶意”用户会不断做出各种尝试来套取风控模型的内部数据、参数或规则以图绕过所述风控模型的监管。

因此，存在对模型安全性方案进行改进的需求，以便能够提供一种更加安全稳健的模型安全性的审计机制。

发明内容

本公开涉及一种对部署的加密模型安全性进行审计的方案，所述方案提供了一种模型测试功能，即通过利用同态加密技术对加密模型的结果进行抽查审计，以不定期地审计数据需求方是否对模型结果的解密过程进行了造假(例如篡改)。在另一个方面中，本公开的方案还通过提供运行态系统日志的自动记录来帮助数据源方通过浏览日志来随时审计加密模型和密文模型结果的安全性风险。

根据本公开的第一方面，提供了一种用于部署的加密模型的安全性审计的数据源方设备，其中所述部署的加密模型是由数据需求方设备利用公钥进行同态加密后生成的，其特征在于，所述数据源方设备被配置为：向数据需求方设备发送对模型服务进行测试的测试请求，所述测试请求包括通过输入测试参数到所述数据源方设备所部署的密文模型而生成的用于测试的第一密文模型结果；以及利用所述数据需求方设备先前提供的公钥对从所述数据需求方设备接收到的明文模型结果加密以生成第二密文模型结果，并通过将第一密文模型结果与第二密文模型结果进行比较以确定它们的一致性来审计模型服务的安全性风险。

根据本公开的第二方面，提供了一种用于部署的加密模型的安全性审计的数据需求方设备，其中所述部署的加密模型是由数据需求方设备利用公钥进行同态加密后生成的，其特征在于，所述数据需求方设备被配置为：使用与所述公钥相对应的私钥将接收自数据源方设备的测试请求中包括的第一密文模型结果解密成明文模型结果，并将所述明文模型结果回传给所述数据源方设备。

根据本公开的第三方面，所述如第二方面所述的数据需求方设备还被配置为：为所述测试请求设置测试阈值，并在接收到来自数据源方设备的测试请求后，仅当确定所述测试请求满足测试阈值，才进行所述解密和回传操作，其中所述测试阈值包括：在一个时间段内的测试次数上限或测试的时间间隔。