[发明专利]差分隐私的迭代重加权最小二乘

说明书

用于将迭代重加权最小二乘(IRLS)解私有化的方法，其包括通过添加噪声扰动数据集的一阶矩并通过添加噪声来扰动数据集的二阶矩。该方法还包括基于经扰动一阶矩和经扰动二阶矩来获取IRLS解。该方法进一步包括基于IRLS解生成差分隐私输出。

相关申请的交叉引用

本申请要求于2016年4月28日提交且题为“Differentially PrivateIteratively Reweighted Least Squares(差分隐私的迭代重加权最小二乘)”的美国临时专利申请No.62/329,186的权益，其公开内容通过援引全部明确纳入于此。

背景

领域

本公开的某些方面一般涉及机器学习，尤其涉及改进将迭代重加权最小二乘解修改为差分隐私的系统和方法。

背景技术

随着存储设备的存储容量的增加，可以将大量个人信息存储在数据库中。作为示例，个人信息可以是提供给社交网络、医院和/或金融机构的信息。存储个体的个人信息时，隐私是一个问题。泄漏存储信息可能会带来法律问题，并导致消费者对企业失去信心。

在某些情况下，通过向数据添加噪声和/或将噪声添加到对数据执行的操作的结果来维护数据的隐私。仍然，期望向数据添加正确数量的噪声。过多的噪声可能会以阻止数据按预期被使用的方式使数据失真。噪声太小可能无法增加防止数据泄露所需的隐私级别。

差分隐私通过提供关于任一给定个体是否对数据集做出贡献的少量证据来保护对数据集执行的操作结果。即，差分隐私降低了基于系统的输出确定特定数据是否存在的可能性。此外，差分隐私不会改变数据。相反，差分隐私更改了对数据执行的操作结果，以保护可能从操作结果推断出的个人信息。

为了保护存储的个人信息，差分隐私会对数据执行的操作(诸如查询)结果引入噪声，以隐藏个体的个人信息。在一些情况下，可以使用分布(诸如拉普拉斯分布)将噪声添加到操作结果中。

在机器学习中使用迭代重加权最小二乘(IRLS)来估计广义线性模型中的参数。例如，迭代重加权最小二乘可用于L-1最小化。迭代重加权最小二乘也可用于维持数据的灵敏性(例如，隐私)。当隐私是敏感数据的关注点时，常规系统不会修改迭代重新加权最小二乘以维护数据的隐私。一些系统使用具有扰动直方图的隐私保护M估计框架。基于直方图的方法可能无法扩展用于高维参数设置。期望将迭代重加权最小二乘解私有化。

概述

在本公开的一个方面，公开了一种用于将迭代重加权最小二乘(IRLS)解私有化的方法。该方法包括通过添加噪声来扰动数据集的一阶矩。该方法还包括通过添加噪声来扰动数据集的二阶矩。该方法还包括基于经扰动一阶矩和经扰动二阶矩来获得IRLS解。该方法还进一步包括基于IRLS解生成差分私有输出。

本公开的另一方面涉及一种装备，该装备包括通过添加噪声来扰动数据集的一阶矩的装置。该装备还包括通过添加噪声来扰动数据集的二阶矩的装置。该装备进一步包括基于经扰动一阶矩和经扰动二阶矩来获得IRLS解的装置。该装备还进一步包括基于IRLS解生成差分隐私输出的装置。

在本公开的另一方面，公开了一种其上记录有程序代码的非瞬态计算机可读介质。该用于私有化IRLS解的程序代码由处理器执行，并且包括通过添加噪声来扰动数据集一阶矩的程序代码。该程序代码还包括通过添加噪声来扰动数据集二阶矩的程序代码。该程序代码进一步包括基于经扰动一阶矩和经扰动二阶矩来获得IRLS解的程序代码。该程序代码还进一步包括基于IRLS解生成差分隐私输出的程序代码。