[发明专利]防隐私泄露的大数据生成方法和系统

摘要

本发明公布了一种防隐私泄露的大数据生成方法及系统，涉及隐私保护及数据挖掘技术领域。通过数据合成方法，生成与原始数据相似但不包含真实敏感信息的数据；所生成的合成数据可供数据分析算法使用；数据分析算法使用所生成的合成数据可防止大数据分析过程中的隐私泄露。包括：对原始数据进行预处理；估计特征的概率分布；生成最近邻模型；生成随机样本；验证随机样本；后处理。系统包括数据处理模块、随机样本生成模块和随机样本验证模块。本发明通过合成数据的方式实现大数据生成，既能防止原始数据中的隐私泄露，同时又能保证数据样本的完整、不增加大数据分析的开销。

主权项

一种防隐私泄露的大数据生成方法，通过数据合成方法，生成与原始数据相似但不包含真实敏感信息的数据；所生成的合成数据可供数据分析算法使用；数据分析算法使用所生成的合成数据可防止大数据分析过程中的隐私泄露；所述大数据生成方法包括如下步骤：1)以多个数据样本为原始数据，每个数据样本均为一个特征向量和目标值的二元组；特征向量包含多个变量，每个变量代表一个特征；目标值为大数据分析中需要进行预测的结果；对原始数据进行预处理，即将特征向量中的标签类型特征的特征值转换为连续的数值，预处理后的数据样本用于生成最近邻模型和估计特征向量中每个特征的概率分布；2)针对预处理后的数据，首先划分为多个部分，然后估计得到每个部分的数据样本的每个特征的概率分布；3)针对预处理后的数据，依次计算所有样本间的距离，生成最近邻模型；4)基于估计得到的概率分布，对特征向量中的每个特征利用概率分布随机生成一个随机数，作为该特征的取值；所有特征上的取值组成一个随机样本；5)针对得到的随机样本进行验证：利用最近邻模型计算出随机样本的多个最近邻，再计算得到该随机样本的置信度，设置置信度阈值，若置信度满足置信度阈值，则将该随机样本视为合格；6)将所得到合格的随机样本进行后处理，即将预处理中转换过的标签类型变量进行逆向转换，变为原来的标签类型。