[发明专利]一种基于三方纵向联邦的LOF异常检测方法及系统

说明书

本申请公开了一种基于三方纵向联邦的LOF异常检测方法及系统，所述方法包括：通过获得所述第一数据方和所述第二数据方的交集样本ID；获得所述第一距离数据集；获得所述第二距离数据集；获得第一数据碎片和第二数据碎片后，将所述第一数据碎片和所述第二数据碎片进行数据交换并进行加和，获得第一样本集合和第二样本集合；获得第一预定Hash方法；获得第三样本集合和第四样本集合；获得第五样本集合；计算获得LOF参数信息；获得LOF异常得分。解决了现有技术中存在数据持有者要求在不泄露自有数据的基础上进行异常检测的技术问题。达到了通过联邦学习实现共同建模，帮助数据持有者不泄露自有数据进行异常检测的技术效果。

技术领域

本发明涉及计算机领域，尤其涉及一种基于三方纵向联邦的LOF异常检测方法及系统。

背景技术

大规模数据收集大幅提升了机器学习算法的性能，实现了经济效益和社会效益的共赢，但也令个人隐私保护面临更大的风险与挑战，机器学习的训练模式主要分为集中学习和联邦学习两类，前者在模型训练前需统一收集各方数据，尽管易于部署，却存在极大数据隐私与安全隐患；后者实现了将各方数据保留在本地的同时进行模型训练。

金融风控领域中面临的一大问题即金融欺诈，网络犯罪分子开始采用新技术，扩大攻击的规模、增加攻击的复杂性。金融机构需要采取的严密的安全措施来保护客户的金融资产和个人数据。异常检测技术广泛应用于金融风控领域中，对金融欺诈行为的检测发挥着重大作用，其中LOF作为异常检测手段中的一种无监督算法，在欺诈检测中有着许多理想的性质，对于局部异常点来说是一种可行的方法。同时金融风控领域中各种机器学习方法的运用离不开数据的支持，但数据持有者出于隐私保护，无法将数据流通出去。联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。

本申请在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中存在无法在保证数据持有者自有数据不泄露的前提下，帮助数据持有者完成异常检测的技术问题。

发明内容

有鉴于此，本申请实施例通过提供一种基于三方纵向联邦的LOF异常检测方法及系统，所述方法包括：通过对第一数据方和第二数据方的样本ID进行求交运算，获得所述第一数据方和所述第二数据方的交集样本ID；获得所述第一数据方的各个样本数据在所述第一数据方特征下的第一距离数据集；获得所述第二数据方的各个样本数据在所述第二数据方特征下的第二距离数据集；对所述第一距离数据集和所述第二距离数据集进行拆分，获得第一数据碎片和第二数据碎片后，将所述第一数据碎片和所述第二数据碎片进行数据交换并进行加和，获得第一样本集合和第二样本集合；获得第一预定Hash方法；所述第一数据方和所述第二数据方根据所述第一预定Hash方法，对所述第一样本集合和所述第二样本集合进行Hash映射，获得第三样本集合和第四样本集合；将所述第三样本集合和所述第四样本集合发送给协调计算方，所述协调计算方对所述第三样本集合和所述第四样本集合进行加和，获得第五样本集合；根据所述第五样本集合，计算获得LOF参数信息；根据所述LOF参数信息，获得LOF异常得分。解决了现有技术中存在无法在保证数据持有者自有数据不泄露的前提下，帮助数据持有者完成异常检测的技术问题。达到了在保证数据持有者自有数据不泄露的前提下，通过联邦学习实现共同建模，帮助数据持有者完成异常检测的技术效果。

鉴于上述问题，本申请实施例提供了一种基于三方纵向联邦的LOF异常检测方法及系统。