[发明专利]人工智能模型性能容量的自动测试方法及装置

说明书

本发明提供了一种人工智能模型性能容量的自动测试方法及装置。所述方法包括：根据人工智能模型的类型，从对应的数据源平台获取测试数据；根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；根据所述测试数据及所述发压脚本创建测试案例；根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。本发明实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

技术领域

本发明涉及人工智能模型性能容量测试技术领域，尤指一种人工智能模型性能容量的自动测试方法及装置。

背景技术

随着“机器代人”的普及，人工智能模型在市场营销、风险监控、运营管理方面的使用场景越来越多，AI新增模型和迭代模型大量涌现，需要对增量模型的性能进行快速评估，确保模型上线后能够平稳运行。

大量人工智能场景的落地引入了AI模型，通过自学习等方式可实现模型的快速迭代，对于模型预测服务这类访问密集型业务，如何确保其性能容量成为了目前刻不容缓的课题。传统的测试方法需要针对不同的模型准备大量的压测数据，编写发压脚本，创建发压场景并执行，最终反馈测试结果，其中，发压表示发起压力，即为“压力测试”，简称“压测”。上述测试方法，依赖于测试人员的测试经验，需对AI模型有一定了解以便造数，手工编写发压脚本，有一定的技术门槛，同时模型数量较多且测试周期较长，难以快速对模型性能容量进行评估。

发明内容

为了解决上述问题，本发明实施例提供一种人工智能模型性能容量的自动测试方法，所述方法包括：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

可选的，在本发明一实施例中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型。

可选的，在本发明一实施例中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第一数据源平台为分布式文件存储平台。

可选的，在本发明一实施例中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第二数据源平台为对象存储平台。

可选的，在本发明一实施例中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第三数据源平台为Mysql数据库。

可选的，在本发明一实施例中，所述根据所述测试案例执行发压过程，动态调整发压过程的并发数包括：根据预设的基准并发数及所述测试案例执行发压过程；在发压过程中，逐渐增加并发数，并记录对应的吞吐量。