[发明专利]基于差分隐私的异常检测模型的训练方法及装置在审
申请号: | 202010343419.2 | 申请日: | 2020-04-27 |
公开(公告)号: | CN111539769A | 公开(公告)日: | 2020-08-14 |
发明(设计)人: | 熊涛 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06Q30/02 | 分类号: | G06Q30/02;G06K9/62 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 隐私 异常 检测 模型 训练 方法 装置 | ||
1.一种基于差分隐私的异常检测模型的训练方法,所述异常检测模型包括自编码网络和评估网络,所述自编码网络包括编码器和解码器;所述方法包括:
将训练集中任意业务样本对应的第一特征向量输入所述自编码网络,通过所述编码器输出对所述第一特征向量降维的第二特征向量,通过所述解码器输出基于所述第二特征向量对所述第一特征向量进行复原的第三特征向量;
基于所述第二特征向量,构建评估向量,输入所述评估网络;
获取所述评估网络输出的该任意业务样本属于混合高斯分布中K个子高斯分布的子分布概率;
根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率,得到该任意业务样本在所述混合高斯分布中的第一概率;
确定所述训练集对应的预测损失,所述预测损失与所述各个业务样本对应的所述第一概率负相关,且与所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度负相关;
利用差分隐私的方式,在基于所述预测损失得到的原始梯度上添加噪声,利用包含噪声的梯度,调整所述异常检测模型的模型参数。
2.根据权利要求1所述的方法,其中,基于所述第二特征向量,构建评估向量,包括:将所述第二特征向量作为所述评估向量。
3.根据权利要求1所述的方法,其中,基于所述第二特征向量,构建评估向量,包括:
基于所述第一特征向量和所述第三特征向量,得到重构误差向量;
将所述第二特征向量和所述重构误差向量相组合,作为所述评估向量。
4.根据权利要求1所述的方法,其中,根据所述训练集中各个业务样本对应的所述评估向量和所述子分布概率,得到该任意业务样本在所述混合高斯分布中的第一概率,包括:
根据所述各个业务样本的所述评估向量和所述子分布概率,确定所述K个子高斯分布中各个子高斯分布的均值、协方差,以及该子高斯分布在所述K个子高斯分布中的出现概率;
根据各个子高斯分布的均值、协方差和出现概率,重构所述混合高斯分布;
将所述任意业务样本的评估向量代入重构的混合高斯分布,得到所述第一概率。
5.根据权利要求1所述的方法,其中,确定所述训练集对应的预测损失,包括:
根据所述各个业务样本对应的所述第一概率,确定第一损失项,所述第一损失项与各个业务样本的所述第一概率负相关;
根据所述各个业务样本对应的第一特征向量和第三特征向量之间的相似度,确定第二损失项,所述第二损失项与所述相似度负相关;
根据预设权重因子,对所述第一损失项和第二损失项加权求和,得到所述预测损失。
6.根据权利要求1所述的方法,其中,利用差分隐私的方式,在基于所述预测损失得到的原始梯度上添加噪声,包括:
根据所述预测损失,确定使得预测损失减小的原始梯度;
基于预设的裁剪阈值,对所述原始梯度进行裁剪,得到裁剪梯度;
利用基于所述裁剪阈值确定的高斯分布,确定用于实现差分隐私的高斯噪声,其中,所述高斯分布的方差与所述裁剪阈值的平方正相关;
将所述高斯噪声与所述裁剪梯度叠加,得到所述包含噪声的梯度。
7.根据权利要求1所述的方法,其中,利用差分隐私的方式,在基于所述预测损失得到的原始梯度上添加噪声,包括:通过梯度反向传播,分别确定对应于所述评估网络的第一原始梯度,和对应于所述自编码网络的第二原始梯度;利用差分隐私的方式,在所述第一原始梯度和第二原始梯度中分别添加噪声,得到第一噪声梯度和第二噪声梯度;
利用包含噪声的梯度,调整所述异常样本检测模型的模型参数,包括:
利用所述第一噪声梯度,调整所述评估网络的参数;利用所述第二噪声梯度,调整所述自编码网络的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010343419.2/1.html,转载请声明来源钻瓜专利网。