[发明专利]模型评估方法、装置、电子设备和联邦系统

权利要求书

1.一种模型评估方法，其特征在于，包括：

获取一个或多个数据方的初始密态数据组，所述初始密态数据组中包括一项和多项初始密态数据，所述初始密态数据为所述数据方使用目标模型对本地样本集进行识别得的数据；

根据所述初始密态数据组，计算所述目标模型的密态评估数据。

2.根据权利要求1所述的方法，其特征在于，所述初始密态数据包括：第一类样本数、第二类样本数、验证分布数据，所述根据所述初始密态数据组，计算所述目标模型的密态评估数据，包括：

根据所述初始密态数据组中各项初始密态数据中的所述第一类样本数、所述第二类样本数和所述验证分布数据，计算得到第一类样本总数、第二类样本总数、验证总分布数据；

根据所述第一类样本总数、所述第二类样本总数和所述验证总分布数据，计算所述目标模型验证的真假例率分布数据；

根据所述真假例率分布数据，确定出所述目标模型的密态评估数据。

3.根据权利要求2所述的方法，其特征在于，所述真假例率分布数据包括：真例率分布数据和假例率分布数据；所述根据所述真假例率分布数据，确定出所述目标模型的密态评估数据，包括：

根据所述真例率分布数据和所述假例率分布数据，构建所述目标模型的受试者操作特征曲线；

根据所述受试者操作特征曲线，计算所述目标模型的密态评估数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一类样本总数、所述第二类样本总数和所述验证总分布数据，计算所述目标模型验证的真假例率分布数据，包括：

根据所述第一类样本总数和所述验证总分布数据中的真正例数，确定出所述真例率分布数据，所述真正例数为所有的第一样本中被所述目标模型判定为第一样本的数量；

根据所述第一类样本总数和所述验证总分布数据中的假正例数，确定出所述假例率分布数据，所述假正例数为所有的第二样本中被所述目标模型判定为第一样本的数量。

5.根据权利要求1所述的方法，其特征在于，所述初始密态数据包括：第一类样本数、第二类样本数和真假例率子数据；所述根据所述初始密态数据组，计算所述目标模型的密态评估数据，包括：

根据所述初始密态数据组的各组初始密态数据中的所述第一类样本数、所述第二类样本数和所述真假例率子数据，确定出所述目标模型的真假例率分布数据；

根据所述真假例率分布数据，确定出所述目标模型的密态评估数据。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述方法还包括：

对所述密态评估数据进行解密处理，以得到所述目标模型的明文评估数据。

7.根据权利要求1-5任意一项所述的方法，其特征在于，所述方法还包括：

将所述密态评估数据传输给数据需求方，以供所述数据需求方根据所述密态评估数据；所述数据需求方包括：所述数据方、第三方平台中的一方或多方平台。

8.一种模型评估方法，其特征在于，包括：

使用目标模型对本地样本集进行验证，以得到初始密态数据；

将所述初始密态数据发送给所述中心设备。

9.根据权利要求8所述的方法，其特征在于，所述初始密态数据包括：验证分布数据；所述使用目标模型对本地样本集进行验证，以得到初始密态数据，包括：

使用目标模型对本地样本集进行验证，以得到样本预测数据；

根据预先设置的概率阈值，确定出所述样本预测数据对应的验证分布数据。