[发明专利]数据筛选方法、装置、设备及可读存储介质

说明书

本发明公开了一种数据筛选方法，包括以下步骤：本发明第一参与方接收协调方发送的数据检测模型，并基于所述数据检测模型对所述第一参与方拥有的数据集进行检测，得到所述数据集对应的重构误差集，而后基于所述重构误差集以及所述协调方配置的误差范围，得到所述第一参与方对应的数据筛选结果。本发明还公开了一种装置、设备及可读存储介质。通过数据检测模型对参与方拥有的数据集进行检测，从而筛选出与数据检测模型的训练集具有相同统计分布的参与方以及训练数据进行联邦训练，这些参与方的训练数据相似而又有差异，可以充分利用参与方拥有的训练数据的多样性，最大利用联邦学习的优势，训练更好的模型。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种数据筛选方法、装置、设备及可读存储介质。

背景技术

在横向联邦学习中，如果其他参与方拥有的训练数据并不能对自己有所帮助，那么该参与方参与横向联邦学习就不会有什么收获，因此，在进行横向联邦学习模型训练之前，需要选择横向联邦学习的参与方。

现有技术中，一种常见方案：协调方从备选的参与方(或者潜在的参与方)中随机的选择横向联邦学习的参与方，期望能选择到统计分布比较均衡的训练数据。这个方案很简单，但是没有任何保证可以选择到统计分布比较均衡的训练数据。因为随机选择，所以出现重复数据、异常数据或者脏数据的可能性很大，也是实际应用横向联邦学习经常遇到的问题；另外一种方案：协调方不能查看备选的参与方(或者潜在的参与方)拥有的训练数据，但是可以获得备选的参与方(或者潜在的参与方)拥有的训练数据的一些统计信息。协调方可以通过这些统计信息来帮助选择参与方。这个方案有助于选择统计分布比较均衡的训练数据集。但是在某些场景下，训练数据的统计信息可能会泄露用户隐私或者商业秘密，因而这个方案的应用场景有限。此外，很多情况下，备选的参与方(或者潜在的参与方)拥有的训练数据并没有明显的统计特征(或者是无法获得统计特征)，那么就无法应用这个方案。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据筛选方法、装置、设备及可读存储介质，旨在解决现有横向联邦学习中，协调方不能为横向联邦学习选择很好的训练数据或者参与方的技术问题。

为实现上述目的，本发明提供一种数据筛选方法，应用于第一参与方，所述的数据筛选方法包括以下步骤：

第一参与方接收协调方发送的数据检测模型，并基于所述数据检测模型对所述第一参与方拥有的数据集进行检测，得到所述数据集对应的重构误差集；

基于所述重构误差集以及所述协调方配置的误差范围，得到所述第一参与方对应的数据筛选结果。

进一步地，在一实施方式中，所述第一参与方接收协调方发送的数据检测模型，并基于所述数据检测模型对所述第一参与方拥有的数据集进行检测，得到所述数据集对应的重构误差集的步骤包括：

将所述第一参与方拥有的数据集输入所述数据检测模型，以对所述数据集的数据特征进行检测，输出第一参与方拥有的数据集对应的重构数据集；

基于所述第一参与方拥有的数据集以及所述重构数据集，计算得到所述重构误差集。

进一步地，在一实施方式中，所述基于所述重构误差集以及所述协调方配置的误差范围，得到所述第一参与方对应的数据筛选结果的步骤包括：

发送所述重构误差集至所述协调方，以供所述协调方反馈所述第一参与方对应的数据筛选结果，其中，所述协调方将接收到的所述重构误差集中各个重构误差分别与所述误差范围进行比对，基于比对结果确定数据筛选结果。

进一步地，在一实施方式中，所述基于所述重构误差集以及所述协调方配置的误差范围，得到所述第一参与方对应的数据筛选结果的步骤，还包括：