[发明专利]一种算法模型的筛选方法、装置及测试平台

说明书

本发明公开了一种算法模型的筛选方法、装置及测试平台，具体涉及检测技术领域。该方法包括获取场景细分数据集；设置算法模型的测试参数；基于所述场景细分数据集和所述测试参数执行预设测试流程，得到算法模型的测试结果；根据所述算法模型的测试结果对所述算法模型进行评价筛选。通过获取场景细分数据集和对算法模型进行参数设置，根据预设测试流程实施算法模型的检测，之后根据检测结果对所测试的算法模型进行评价筛选，从而实现快速筛选出综合性最优的算法模型。

技术领域

本发明涉及检测技术领域，具体涉及一种算法模型的筛选方法、装置及测试平台。

背景技术

在现有技术中，利用深度学习或分类算法对数据进行训练后，会产生大量的数据模型，而为了能够从中筛选出最优模型用于生产。为此在现有技术中所使用的方式是在服务器环境中执行测试脚本，并基于服务器的GPU或CPU环境，对测试数据集进行回灌测试，计算模型的相关指标，然后综合比较挑选最佳指标的模型，进行格式转换后应用到产品中，或，在测试设备终端中执行测试脚本，将待测试的模型文件导入设备进行转换，同时将测试数据放入设备中，采用贴近设备的实际运行状态进行回灌测试，然后收集测试结果，人工汇总结果和筛选模型。

然而对于上述方法来说由于数据训练的运行环境为GPU或CPU，在实际应用时，模型可能要移植到对应的AI芯片上运行，因此存在芯片与主机之间存在量化误差，其效果和主机上运行的效果并不相同，会导致筛选出的模型存在偏差；或是在测试结果更符合设备真实运行状态下，其性能指标可信度更高，但测试流程和环境复杂，需要保持人工精力观察，不能及时掌握测试状态发现问题及时修复，当测试指标明显较差时也不能及时跳过进入下一个模型测试，非常浪费时间及计算资源。

发明内容

有鉴于此，本发明实施例提供了一种算法模型的筛选方法、装置及测试平台，以解决现有筛选方法无法快速筛选出综合性能最优的算法模型的问题。

根据第一方面，本发明实施例提供了一种算法模型的筛选方法，包括：

获取场景细分数据集；设置算法模型的测试参数；基于所述场景细分数据集和所述测试参数执行预设测试流程，得到算法模型的测试结果；根据所述算法模型的测试结果对所述算法模型进行评价筛选。

本发明实施例提供的算法模型的筛选方法，通过获取场景细分数据集和对算法模型进行参数设置，根据预设测试流程实施算法模型的检测，之后根据检测结果对所测试的算法模型进行评价筛选，从而实现快速筛选出综合性最优的算法模型。

结合第一方面，在第一方面第一实施方式中，所述获取场景细分数据集，包括：获取测试数据集；基于所述测试数据集进行场景细分得到场景细分数据集。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述基于所述测试数据集进行场景细分得到场景细分数据集，包括：基于所述测试数据集按照维度信息进行权重分配，得到维度数据集；根据所述维度数据集对所述同一维度下的数据集进行权重分配，得到子数据集。

本发明实施例提供的算法模型的筛选方法，通过对测试数据集进行场景细分，从而使得经过细分整理的后数据能够快速准确的被提取，从而提高了筛选能力，进一步实现快速筛选出综合性能最优的算法模型。

结合第一方面，在第一方面第三实施方式中，所述设置算法模型的测试参数，包括：设置测试执行条件及配置运行设备、待测模型、待测试数据。

本发明实施例提供的算法模型的筛选方法，通过对算法模型参数进行设置，从而确定出需要进行测试的算法模型及运行算法模型的设备，从而能够快速筛选出综合性能最优的算法模型。

结合第一方面，在第一方面第四实施方式中，所述基于所述测试数据集和所述测试参数执行预设测试流程，还包括：基于测试参数进行数据同步，得到同步数据；提取所述测试参数中的模型数据，对模型数据进行转换得到执行模型；根据所述同步数据和执行模型进行数据回灌测试，输出所述算法模型的测试结果。