[发明专利]一种在联邦学习场景下的数据集划分方法及系统

权利要求书

1.一种在联邦学习场景下的数据集划分方法，其特征在于，包括如下步骤：

步骤S1，判断各联邦学习参与方提供的原始数据的数据分布是否一致；

步骤S2，使用各所述联邦学习参与方提供的数据分布一致的所述原始数据以及模型测试数据训练、使用验证集优化得到最优的联邦分类模型M1；

步骤S3，将归属于各所述联邦学习参与方的所述原始数据输入到所述联邦分类模型M1中，所述联邦分类模型M1输出模型输入数据为所述模型测试数据的概率；

步骤S4，按照预测概率由高到低选取指定数量的所述模型输入数据划分为数据归属的所述联邦学习参与方提供的用于验证模型性能的验证集，剩余的所述模型输入数据划分为数据归属的所述联邦学习参与方提供的用于训练模型的训练集。

2.根据权利要求1所述的在联邦学习场景下的数据集划分方法，其特征在于，所述步骤S1中，判断各所述联邦学习参与方提供的所述原始数据的数据分布是否一致的方法具体包括：

步骤S11，将所述联邦学习参与方提供的所述原始数据划分为与所述原始数据的数据分布一致的训练集、验证集和测试集；

步骤S12，为划分的分属于各所述联邦学习参与方的训练集、验证集赋予相对应的数据标签；

步骤S13，使用带有数据标签的分属于各所述联邦学习参与方的所述训练集训练、使用验证集优化得到最优的联邦分类模型M2；

步骤S14，将分属于各所述联邦学习参与方的所述测试集输入到所述联邦分类模型M2中，得到所述联邦分类模型M2区分各归属方输入数据的若干个本地性能评价指标；

步骤S15，对所述联邦分类模型M2为区分输入数据归属方得到的各所述本地性能评价指标的值进行聚合计算，得到一全局评价指标值，并根据所述全局评价指标值判断出各所述联邦学习参与方分别提供的所述原始数据的数据分布是否一致。

3.一种在联邦学习场景下的数据集划分系统，可实现如权利要求1或2任意一项所述的数据集划分方法，其特征在于，所述数据集划分系统包括：

数据分布一致性判断模块，用于判断各联邦学习参与方提供的原始数据的数据分布是否一致；

数据标签赋予模块，用于为数据分布一致的各所述联邦学习参与方提供的所述原始数据赋予相对应的数据标签并存储，并为模型测试数据赋予相对应的数据标签并存储；

数据获取模块，连接所述数据标签赋予模块，用于获取经标签赋予后的的所述原始数据作为模型训练样本，获取所述模型测试数据作为模型验证样本；

M1联邦分类模型训练模块，连接所述数据获取模块，用于使用获取的各所述联邦学习参与方提供的所述原始数据和所述模型测试数据训练，使用验证集优化得到最优的联邦分类模型M1；

M1模型性能测试模块，分别连接所述数据获取模块和所述M1联邦分类模型训练模块，用于将获取的归属于各所述联邦学习参与方的所述原始数据输入到所述联邦分类模型M1中，所述联邦分类模型M1输出模型输入数据为所述模型测试数据的概率；

验证集选定模块，连接所述M1模型性能测试模块和所述数据获取模块，用于按照预测概率由高到低选取指定数量的所述模型输入数据作为数据归属的所述联邦学习参与方提供的用于验证模型性能的验证集，剩余的所述模型输入数据作为数据归属的所述联邦学习参与方提供的用于训练模型的训练集。

4.根据权利要求3所述的在联邦学习场景下的数据集划分系统，其特征在于，所述数据分布一致性判断模块中具体包括：

数据划分单元，用于将各所述联邦学习参与方提供的所述原始数据划分为与所述原始数据的数据分布一致的训练集、验证集和测试集；

数据标签赋予单元，连接所述数据划分单元，用于为划分的分属于各所述联邦学习参与方的训练集、验证集赋予相对应的数据标签，并为所述模型测试数据赋予相对应的数据标签；

M2联邦分类模型训练单元，连接所述数据标签赋予单元，用于使用带有数据标签的分属于各所述联邦学习参与方的所述训练集训练、使用验证集优化得到最优的联邦分类模型M2；

M2模型性能测试单元，分别连接所述数据划分单元和所述M2联邦分类模型训练单元，用于将分属于各所述联邦学习参与方的所述测试集输入到所述联邦分类模型M2中，得到所述联邦分类模型M2区分各归属方输入数据的若干个本地性能评价指标；

数值聚合计算单元，连接所述M2模型性能测试单元，用于对所述联邦分类模型M2为区分输入数据归属方得到的各所述本地性能评价指标的值进行聚合计算，得到一全局评价指标值；

数据分布一致性判断单元，连接所述数值聚合计算单元，用于根据所述全局评价指标值，判断出各所述联邦学习参与方分别提供的所述原始数据的数据分布是否一致。