[发明专利]面向差分隐私保护的随机森林算法

权利要求书

1.一种面向差分隐私保护的随机森林算法，其特征在于，包括以下步骤：

步骤一、建立提供ε-差分隐私保护的随机森林；

步骤二、利用提供ε-差分隐私保护的随机森林对测试集进行分类，输出测试集中所有样本的分类结果。

2.根据权利要求1所述面向差分隐私保护的随机森林算法，其特征在于，步骤一中，所述建立提供ε-差分隐私保护的随机森林，具体为：

1.1)获取数据集：若数据集中已经区分训练集D和测试集Test，则执行下一步；否则，采用十折交叉验证得到训练集D和测试集Test；

1.2)数据预处理：对缺失数据进行删除，记录每个特征及其标签(离散/连续)，形成特征集F和特征集标签Flag；

1.3)设置隐私预算B，决策树的数量T，每棵树的最大深度d，每个节点选择的特征个数m，其中(向上取整，即不小于自己的最小整数)，|F|为特征集F中包含的特征数量；

1.4)确定随机森林中的决策树类型、分裂准则、打分函数q(D_i,A)和打分函数的全局敏感度Δq；

1.5)建立提供ε-差分隐私保护的随机森林：

输入：训练数据集D，特征集F，特征集标签Flag，隐私预算B，决策树的数量T，每棵树的最大深度d，每个节点选择的特征个数m；

停止条件：节点上的全部样本分类一致，或者达到最大深度d；

输出：提供ε-差分隐私保护的随机森林。

3.根据权利要求2所述面向差分隐私保护的随机森林算法，其特征在于，所述步骤1.4)中，采用的决策树类型是CART分类树，分裂准则是基尼指数，打分函数是基尼指数，全局敏感度是2。

4.根据权利要求2所述面向差分隐私保护的随机森林算法，其特征在于，所述步骤1.5)中，建立提供ε-差分隐私保护的随机森林的算法程序为：

(1)

(2)

(3)for t＝1to T；

1)使用自助采样法从D中选取大小为|D|的训练集D_i；

2)递归执行以下步骤建立随机森林中的决策树RFT_t：

(i)计算当前节点训练集D_cur中的样本数量，使用Laplace机制添加噪声：

(ii)判断节点是否达到停止条件，如果达到停止条件，则设置当前节点为叶子节点，并对当前节点进行分类，返回分类结果；否则，继续以下步骤；

(iii)随机地从特征集F中选取m个特征；

(iv)若选取的特征中含有连续属性，使用二分法对连续特征离散化；

(v)使用指数机制从m个特征中，用以下概率选择分裂特征：

其中，A是选择的特征，q(D_i,A)是打分函数，Δq是打分函数的全局敏感度；

(vi)根据特征集标签Flag和分裂特征的不同取值对特征取值进行划分，选择使得分裂准则最佳的值，记录最佳分裂特征和特征取值，将当前节点分裂为2个子节点，每个子节点分别执行步骤(i)～(vi)；

(4)返回树的集合即提供ε-差分隐私保护的随机森林。

5.根据权利要求1所述面向差分隐私保护的随机森林算法，其特征在于，步骤二中，所述利用提供ε-差分隐私保护的随机森林对测试集进行分类，具体为：

输入：测试集Test，提供ε-差分隐私保护的随机森林；

输出：测试集中所有样本的分类结果。

6.根据权利要求5所述面向差分隐私保护的随机森林算法，其特征在于，所述利用提供ε-差分隐私保护的随机森林对测试集进行分类的算法程序为：

(1)取出测试集中的每个样本x，执行步骤(2)和(3)；

(2)for t＝1to T；

1)从当前决策树的根节点开始，根据当前节点记录的最佳分裂特征和特征取值，判断进入哪个子节点，一直递归下去，直到到达某个叶子节点；

2)得到当前决策树下的分类结果C_t(x)；

(3)根据每棵决策树的分类结果得到即样本x的分类结果是所有树分类结果的众数；

(4)输出测试集中所有样本的分类结果集合{C(x)}。