[发明专利]应用于跨样本联邦学习的数据处理方法、装置及设备

权利要求书

1.一种应用于跨样本联邦学习的数据处理方法，其特征在于，包括：

根据预设比例从原数据中确定参考数据，并对所述参考数据进行采样得到样本数据；

若所述样本数据中包含非数值型数据，则生成对应于所述样本数据的统计值集合；其中，所述统计值集合包括对应于至少一个字段的统计值；

对所述统计值集合中的统计值进行加密，并将加密后的统计值集合发送至服务器；

根据各参与方发送的加密后的统计值集合生成全局统计值集合并将所述全局统计值集合反馈至所述各参与方；

解密所述全局统计值集合并根据解密后的全局统计值集合对所述样本数据进行数值化处理，根据处理后的样本数据进行模型训练。

2.根据权利要求1所述的方法，其特征在于，生成对应于所述样本数据的统计值集合，包括：

确定所述样本数据对应的总样本数据量；

确定各所述样本数据中对应于同一字段的子数据，得到各字段对应的子数据集；

计算对应于各所述子数据集的统计值；

根据各所述子数据集的统计值和所述总样本数据量确定所述样本数据的统计值集合。

3.根据权利要求2所述的方法，其特征在于，其中：所述子数据集的统计值包括第一类型子数据量、第二类型子数据量、均值以及众数中至少一种。

4.根据权利要求2所述的方法，其特征在于，解密所述全局统计值集合并根据解密后的全局统计值集合对所述样本数据进行数值化处理，包括：

确定所述子数据集中的第一类型子数据占比和第二类型子数据占比；

根据所述第一类型子数据占比和所述第二类型子数据占比对所述子数据集进行数值化处理。

5.根据权利要求4所述的方法，其特征在于，根据所述第一类型子数据占比和所述第二类型子数据占比对所述子数据集进行数值化处理，包括：

若检测到所述第一类型子数据占比与所述第二类型子数据占比之和小于预设比例阈值，则删除所述子数据集；

若检测到所述第一类型子数据占比大于或等于所述第二类型子数据占比，则基于所述全局统计值集合将所述子数据集中的第二类型子数据转换为第一数值型数据；

若检测到所述第一类型子数据占比小于所述第二类型子数据占比，则基于所述全局统计值集合将所述子数据集中的第一类型子数据转换非数值型数据，并将所述非数值型数据和所述子数据集中的第二类型子数据统一转换为第一数值型数据。

6.根据权利要求1所述的方法，其特征在于，对所述参考数据进行采样得到样本数据，包括：

通过预设采样方式对所述参考数据进行采样，得到样本数据；其中，所述预设采样方式包括上采样、下采样或分层采样。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

从所述原数据中确定验证集数据，并根据所述验证集数据对训练后的模型进行验证，得到验证结果并输出。

8.一种应用于跨样本联邦学习的数据处理装置，其特征在于，包括：

数据选取单元，用于根据预设比例从原数据中确定参考数据，并对所述参考数据进行采样得到样本数据；

数据统计单元，用于若所述样本数据中包含非数值型数据，则生成对应于所述样本数据的统计值集合；其中，所述统计值集合包括对应于至少一个字段的统计值；

数据联邦单元，用于对所述统计值集合中的统计值进行加密，并将加密后的统计值集合发送至服务器；

数据生成单元，用于根据各参与方发送的加密后的统计值集合生成全局统计值集合并将所述全局统计值集合反馈至所述各参与方；

数据应用单元，用于解密所述全局统计值集合并根据解密后的全局统计值集合对所述样本数据进行数值化处理，根据处理后的样本数据进行模型训练。