[发明专利]系统测试方法和装置

说明书

本申请提供了一种系统测试方法和装置，其中，该方法包括：获取样本数据集和目标计算逻辑；采集样本数据集在明文状态下根据目标计算逻辑计算得到的明文计算结果；在根据样本数据集和目标计算逻辑重复运行目标隐私计算系统预设次数之后，确定所述目标隐私计算系统重复运行预设次数得到的多个密文计算结果对应的明文计算结果的表征值，其中，预设次数大于1；根据所述表征值和明文计算结果验证所述目标隐私计算系统计算结果的正确性。在本申请实施例中，将上述表征值与不考虑数据隐私性的明文计算结果比较以验证系统计算结果的正确性，并且可以利用对外通讯流量验证系统的安全性，从而可以有效提高对目标隐私计算系统进行测试的结果的可靠性。

技术领域

本申请涉及数据处理技术领域，特别涉及一种系统测试方法和装置。

背景技术

人工智能技术是一种可以通过统计、机器学习算法等从海量数据中自动提取出反应数据内在规律的新技术，而海量的数据获取和管理是进行人工智能的前提基础。在现实中，完整、大量的数据通常是分布在多个机构或者各个个体的手中的，并且这些数据由于涉及商业利益、数据隐私性等因素，往往不可以直接的进行明文的分享、交互。安全多方计算(MPC)可以基于可靠的密码学理论为多参与方在多份数据上进行联合计算时保障各自数据不会泄露给其他人的同时计算得到所需要的结果。一种可行的方法是在基于TensorFlow机器学习框架，在多方共同处理计算逻辑图的过程中动态的对原来针对明文数据进行的操作算子(OP)替换为MPC下针对密文状态的数据处理的隐私化操作算子(MPC OP)，根据上述技术组合得到的系统一般称为基于MPC的隐私计算系统。

在基于MPC的隐私计算系统的实现和运行过程中，由于是多方参与、各方处理的数据都处于密文而非有语义、可理解的明文状态，所以需要对该系统的正确性、安全性进行理论上的分析以及实际有效、易用的验证方案。只有在对上述隐私计算系统的计算结果的正确性和计算过程的安全性进行验证之后，才能实际的将其可靠的部署到各参与方的线上系统中。

现有技术中已有一些针对分布式系统的自动化测试框架，例如：SOFAACTS、Robot框架等。但是由于使用了MPC技术的隐私计算系统中各个组件本地所能看到的都是本地的密文值，无法独立、自动的进行计算结果的正确性验证，更加无法在计算交互的全过程中对可能存在的数据泄露情况进行分析，从而使得现有技术中的针对分布式系统的自动化测试框架无法直接应用到基于MPC的隐私计算系统中去。

进一步的，当前处理类似问题使用的针对分布式系统的自动化安全验证技术主要验证的是系统中是否存在网络安全等方面的问题，而非针对数据本身可能存在的泄露风险进行自动化的测试验证，从而无法针对隐私计算系统本身的特性进行测试验证。并且上述针对分布式系统的自动化安全验证技术的框架所采用的测试技术主要是提供通用性的测试部署、数据模型生成、测试脚本辅助生成等功能，应用到基于MPC的隐私计算系统中需要大量改造。而一般通用型分布式系统的自动化测试技术即使被定制化改造后也只能针对基于MPC的隐私计算方案的最终结果进行复杂的比对(在计算机测试中，称这种测试方式为“黑盒测试”)，这种关注外部最终直接结果的测试方式存在覆盖全部可能的输入困难、难以定位问题模块等明显的缺陷。因此，采用现有技术中的技术方案无法可靠地针对隐私计算系统的正确性进行测试。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种系统测试方法和装置，以解决现有技术中无法可靠地针对隐私计算系统的正确性进行系统测试的问题。