[发明专利]一种模型效果检测方法、装置、存储介质及设备

权利要求书

1.一种模型效果检测方法，其特征在于，应用于数据源方，包括：

基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；

利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；所述第三密文是基于将同态减运算的结果进行乱序处理而得到的；

获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果；

其中，所述标注值队列是所述数据源方针对所述测试数据计算得到的模型预测结果组成的队列；所述根据解密结果确定所述模型方的模型效果包括：根据解密得到的明文中0的占比率，确定所述模型方的模型效果和所述数据源方的模型效果之间的匹配度；

或者，所述标注值队列是所述测试数据对应的真实结果组成的队列；所述根据解密结果确定所述模型方的模型效果包括：根据解密得到的明文中0的占比率，确定所述模型方的模型预测结果的准确率。

2.根据权利要求1所述的方法，其特征在于，若所述标注值队列是所述测试数据对应的真实结果组成的队列，所述方法还包括：

根据所述测试数据对应的真实结果与所述数据源方针对所述测试数据计算得到的模型预测结果之间的匹配度，确定所述数据源方的模型预测结果的准确率；

根据所述模型方的模型预测结果的准确率和所述数据源方的模型预测结果的准确率之间的大小关系，比较所述模型方的模型效果和所述数据源方的模型效果。

3.根据权利要求1所述的方法，其特征在于，所述模型方对所述第一密文和所述第二密文进行同态减运算的过程中，随机地采取第一密文减去第二密文，或第二密文减去第一密文的形式，其中，采取第一密文减去第二密文的形式的概率为二分之一。

4.一种模型效果检测装置，其特征在于，包括：

生成模块，用于基于半同态加密算法生成公钥及私钥，并将所述公钥发送给模型方，以使所述模型方利用所述公钥对预测值队列进行加密以得到第一密文，所述预测值队列是由所述模型方针对一组测试数据计算得到的模型预测结果组成的队列；

加密模块，用于利用所述公钥对标注值队列进行加密以得到第二密文，并将所述第二密文发送给所述模型方，以使所述模型方对所述第一密文和所述第二密文进行同态减运算，得到第三密文；所述第三密文是基于将同态减运算的结果进行乱序处理而得到的；

解密模块，用于获取所述模型方发送的第三密文，并利用所述私钥对所述第三密文进行解密，根据解密结果确定所述模型方的模型效果；

其中，所述标注值队列是数据源方针对所述测试数据计算得到的模型预测结果组成的队列；所述解密模块具体用于：根据解密得到的明文中0的占比率，确定所述模型方的模型效果和所述数据源方的模型效果之间的匹配度；

或者，所述标注值队列是所述测试数据对应的真实结果组成的队列；所述解密模块具体用于：根据解密得到的明文中0的占比率，确定所述模型方的模型预测结果的准确率。

5.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。

6.一种计算机设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。