[发明专利]人工智能系统的测试方法、装置、电子设备及介质

说明书

本申请提供了一种人工智能系统的测试方法、装置、电子设备及介质。该方法在得到至少两个深度学习模型的模型决策因素后，获取至少两个深度学习模型的模型决策因素对应的测试数据和相应的真实输出结果；针对每个深度学习模型，基于深度学习模型输入的测试数据，对深度学习模型进行测试，获取深度学习模型输出的测试结果和当前模型指标；基于当前模型指标和深度学习模型的历史模型指标，确定深度学习模型的测试状态信息；根据深度学习模型输入的测试数据和输出的测试结果生成的测试热力图和相应的真实输出结果，确定深度学习模型的预测行为；生成测试报告。该方法可准确定位AI系统中待优化的数据模型，从而实现对AI系统进行优化的准确性。

技术领域

本申请涉及模型测试的技术领域，具体而言，涉及一种人工智能系统的测试方法、装置、电子设备及介质。

背景技术

随着科学技术的发展，人工智能(Artificial Intelligence，AI)已经应用到社会的各个领域，如智慧城市、智慧金融、智能家居等。深度学习是人工智能领域重要的方向之一。随着基于深度学习模型应用程序的日益普及和它本身技术的复杂性，深度学习应用程序的质量问题越来越突出。这主要体现在数据质量、特征工程、模型效果、产品功能等方面。据IBM在2016年对数据成本的研究估算，由于数据质量差，每年的经济成本就约为3.1万亿美元。由此可见，做好深度学习应用程序的质量保障是其在业务落地应用的重要一环。对于传统软件、互联网产品的测试，其测试方法以及质量保障体系相对成熟。而对于人工智能系统的测试是一个不同的、较新的方向。

AI系统的测试就是在已预知的条件下构造一批已训练过的数据集和没有经过数据训练的数据集，经过数据模型计算，得出落入的样本数是否在已知的区间范围内。

在工业上，对于AI系统的测试主要是端到端的黑盒测试，无法观察系统内部数据模型的运行机制，且AI系统是由深度学习模型层层嵌套组合而成，所以对于某个数据模型的算法性能下降是无法准确定位，导致无法精确的对AI系统进行优化。

发明内容

本申请实施例的目的在于提供一种人工智能系统的测试方法、装置、电子设备及介质，用以解决了现有技术存在的上述问题，可准确定位AI系统中待优化的数据模型，从而实现对AI系统进行优化的准确性。

第一方面，提供了一种人工智能系统的测试方法，该方法可以包括：

对待测的人工智能系统中的至少两个深度学习模型进行代码插桩，得到所述至少两个深度学习模型的模型决策因素；所述模型决策因素包括执行条件、输入数据形式和预期决策信息；

获取所述至少两个深度学习模型的模型决策因素对应的测试数据和相应的真实输出结果；

针对每个深度学习模型，基于所述深度学习模型对应的测试数据，对所述深度学习模型进行测试，获取所述深度学习模型输出的测试结果和当前模型指标；所述测试结果包括与所述深度学习模型的预期决策信息相同的输出结果和与所述预期决策信息不同的输出结果；

基于所述当前模型指标和所述深度学习模型的历史模型指标，确定所述深度学习模型的测试状态信息；所述历史模型指标为所述深度学习模型所处当前版本的前一版本的模型指标；

根据所述深度学习模型输出的测试结果对应的测试热力图和所述测试数据对应的真实输出结果，确定所述深度学习模型的预测行为；

生成测试报告，所述测试报告包括所述至少两个深度学习模型的测试状态信息、测试结果和相应的预测行为。

在一种可实现的方式中，生成测试报告之后，所述方法还包括：

向优化终端发送测试报告，以使所述优化终端根据优化人员的优化指令对相应深度学习模型进行优化。

在一种可实现的方式中，对待测的人工智能系统中的至少两个深度学习模型进行代码插桩，得到所述至少两个深度学习模型的模型决策因素，包括：