[发明专利]模型评估方法、装置、电子设备和联邦系统

说明书

本申请提供了一种模型评估方法、装置、电子设备和联邦系统，其中，该方法包括：获取一个或多个数据方的初始密态数据组，该初始密态数据组中包括一项和多项初始密态数据；该初始密态数据为该数据方使用目标模型对本地样本集进行识别得的数据；根据该初始密态数据组，计算该目标模型的密态评估数据。通过上述方法可以降低评估模型所需传输的数据量，也能够提高数据方的原始数据的安全性。

技术领域

本申请涉及隐私计算技术领域，具体而言，涉及一种模型评估方法、装置、电子设备和联邦系统。

背景技术

联邦学习是能有效帮助多个数据方在满足用户隐私保护、数据安全要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不用共享数据的基础上联合建模,能从技术上打破数据孤岛,实现人工智能协作。

需要对通过联邦学习建立的模型进行评估时，需要将各个数据方的用户数据汇总进行处理。为了保护各个数据方的用户数据的隐私，需要通过加密的方式，用户数据进行加密后再进行汇总处理，这种处理方式数据处理量相对较大。

发明内容

本申请的目的在于提供一种模型评估方法、装置、电子设备和联邦系统，以改善评估联邦学习得到的模型所存在的数据量处理量大的问题。

第一方面，本发明提供一种模型评估方法，包括：获取一个或多个数据方的初始密态数据组，所述初始密态数据组中包括一项和多项初始密态数据；所述初始密态数据为所述数据方使用目标模型对本地样本集进行识别得的数据；根据所述初始密态数据组，计算所述目标模型的密态评估数据。

第二方面，本发明提供一种模型评估方法，包括：使用目标模型对本地样本集进行验证，以得到初始密态数据；将所述初始密态数据发送给所述中心设备。

在可选的实施方式中，所述初始密态数据包括：验证分布数据；所述使用目标模型对本地样本集进行验证，以得到初始密态数据，包括：使用目标模型对本地样本集进行验证，以得到样本预测数据；根据预先设置的概率阈值，确定出所述样本预测数据对应的验证分布数据。

在可选的实施方式中，所述验证分布数据包括：真正例数、假正例数；所述根据预先设置的概率阈值，确定出所述样本预测数据对应的验证分布数据，包括：将所述样本预测数据中的各项样本的样本预测值与预先设置的概率阈值进行比较；将所述样本预测值大于所述概率阈值的样本的验证结果确定为第一类样本集；根据所述第一类样本集中各个样本的标签，确定出所述真正例数和所述假正例数。

第三方面，本发明提供一种模型评估装置，包括：获取模块，用于获取一个或多个数据方的初始密态数据组，所述初始密态数据组中包括一项和多项初始密态数据；所述初始密态数据为所述数据方使用目标模型对本地样本集进行识别得的数据；计算模块，用于根据所述初始密态数据组，计算所述目标模型的密态评估数据。

第四方面，本发明提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如前述实施方式任一所述的方法的步骤。

在可选的实施方式中，所述电子设备中运行有密文计算引擎，所述电子设备通过所述密文计算引擎执行所述根据所述初始密态数据组，计算所述目标模型的密态评估数据的步骤。

第五方面，本发明提供一种联邦系统，包括：数据方和中心设备；

所述数据方用于执行如前述第二方面的实施方式任一所述的模型评估方法的步骤；

所述中心设备用于执行如前述第一方面的实施方式任一所述的模型评估方法的步骤。

第六方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施方式任一所述的方法的步骤。