[发明专利]一种面向数据流通的联邦学习忘却机制及方法

说明书

本发明公开了一种面向数据流通的联邦学习忘却机制及方法，属于深度学习技术领域。该方法使用联邦学习技术实现数据的隐式流通，并基于Shaply值对市场中的数据贡献者进行奖励与惩罚分配，同时还运用联邦学习忘却算法实现数据交易过程中的撤销。本发明解决了数据流通交易过程中存在的数据确权难、交易定价难、隐私保护难、流通交易难等问题。

技术领域

本发明属于深度学习技术领域，涉及基于联邦学习搭建数据流通交易市场，提出了基于生成模型质量的数据交易机制，并设置了数据交易过程中的奖励机制与惩罚机制实现市场的规范化运行，同时利用联邦忘却算法，在市场中实现了数据撤销。

背景技术

大数据时代背景下，海量、多样化和复杂化的数据不断产生，成为了当前社会和经济发展的新趋势。然而，数据活力没有得到真正释放，在深度学习技术发展迅猛的今天，数据必将成为下一个技术壁垒。但是，数据孤岛的存在导致了数据无法在企业与企业之间共享，数据的价值尚未激发，为了解决此问题，本发明从数据交易出发，构建了一个数据流通交易市场，进而实现数据的流通与共享，同时对该市场的运作机制规范处理，使之具备数据交易方式优良，分配机制与奖惩机制合理，数据使用可换可撤销等特点。

目前，数据的流通与交易并不规范，数据交易中仍然不可避免地存在着很多问题，比如数据盗版、如何实现数据交易最优策略，如何实现对用户的隐私保护、如何对市场进行规范，使之可持续地发展与运作；与此同时，想要以数据作为商品构建一个安全稳定的数据流通交易市场，还需要解决的一大难点是：数据不同于普通的实物商品，无法轻易的实现商品的撤销与更换，而撤销与更换作为市场中的重要一环，该部分的缺失将会导致市场的规范化几乎成为不可能。

实际上，目前已有的一些研究已经可以局部地解决该问题，比如：基于联邦学习可以解决一部分关于数据隐私保护的问题；搭建数据集成和共享平台，实现数据的集成和共享；基于加密算法、访问控制技术、身份验证技术、审计技术等多种数据安全性保护技术，以确保数据流通的安全性；通过数据清洗、数据匹配和数据修复等技术手段，保障数据在流通过程中的不可见性；通过数据开放接口对外提供数据服务，使得数据可以被第三方应用访问和使用。但想要基于以上研究构建一个数据流通交易市场几乎不可能，现有的联邦学习技术只能解决数据的隐式流通问题，仅仅保证了数据在流通过程中，用户的隐私不泄露。同时，现有技术均没有考虑到数据作为商品应该以何种方式进行售卖；更没有考虑到数据流通交易的过程中，该如何规范交易的过程，如对数据贡献者进行奖励分配与设定。同时，现存技术都无法保证数据在流通过程中实现撤销。

考虑这样一种情况：目标客户端在联邦学习过程结束后想要退出联邦，因此想要从全局模型中删除他们的贡献。例如，考虑一个联邦学习场景，假设一个系统由多个电商平台共同合作，他们共同训练一个模型以提供给用户个性化的商品推荐。在训练期间，各平台将其用户的购买历史和浏览行为共享给模型，以便模型可以学习用户的兴趣和喜好。然而，在训练完成后，其中一家平台决定退出联邦，因此他们不再希望共享其用户的数据。现在，该平台的数据需要从训练好的模型中去除，以确保其用户的隐私得到保护。与集中式机器学习类似，删除客户端的最合理方法是从头重新训练联邦学习模型。然而，从头再培训的费用往往高得令人望而却步，而且因为一个数据去除而大费周章也不是一个长久之计。因此本发明设计了unlearning模型来解决这一问题。

发明内容

为了解决现有数据交易方式存在的交易方式简陋、奖惩与分配机制不完全、数据不可撤回等问题，本发明提出一种面向质量的任务分配算法QTA(Quality-oriented TaskAllocation algorithm)，使用联邦学习技术实现数据的隐式流通，并基于Shaply值对市场中的数据贡献者进行奖励与惩罚分配，同时还运用联邦学习忘却算法实现数据交易过程中的撤销。

本发明针对上述技术问题提出的技术方案如下：

一种面向数据流通的联邦学习忘却机制及方法，包括以下步骤：