[发明专利]人工智能模型测试方法、装置、电子设备和存储介质在审
申请号: | 202110706116.7 | 申请日: | 2021-06-24 |
公开(公告)号: | CN115525530A | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 吕芳芳;顾肖依;王均 | 申请(专利权)人: | 中移(苏州)软件技术有限公司;中国移动通信集团有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 李娟;张颖玲 |
地址: | 215163 江苏省苏州*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人工智能 模型 测试 方法 装置 电子设备 存储 介质 | ||
1.一种人工智能模型测试方法,其特征在于,包括:
根据待测试人工智能模型的应用场景,确定所述待测试人工智能模型的目标测试指标;
根据所述目标测试指标,确定所述待测试人工智能模型的目标测试脚本;
利用所述目标测试脚本对所述待测试人工智能模型进行测试;
根据测试结果,确定所述待测试人工智能模型的结果数据中的异常数据。
2.根据权利要求1所述的方法,其特征在于,所述待测试人工智能模型包括多个人工智能模型;所述目标测试指标包括至少一个测试指标;
所述根据所述目标测试指标,确定所述待测试人工智能模型的目标测试脚本,包括:
在所述多个人工智能模型中任意两个人工智能模型属于同一个应用场景时,根据所述同一个应用场景对应的目标测试指标,确定所述任意两个人工智能模型共用的所述一个目标测试脚本。
3.根据权利要求1所述的方法,其特征在于,所述待测试人工智能模型包括多个人工智能模型;所述目标测试指标包括至少一个测试指标;
所述根据所述目标测试指标,确定所述待测试人工智能模型的目标测试脚本,包括:
在所述多个人工智能模型中任意两个人工智能模型属于不同的应用场景时,根据任一应用场景对应的目标测试指标,确定所述任意两个人工智能模型各自的目标测试脚本。
4.根据权利要求1所述的方法,其特征在于,所述待测试人工智能模型为一个人工智能模型;所述目标测试指标包括多个测试指标;
所述根据所述目标测试指标,确定所述待测试人工智能模型的目标测试脚本,包括:
根据所述目标测试指标、以及所述目标测试指标中每一个测试指标与测试脚本的对应关系,确定所述待测试人工智能模型的目标测试脚本。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标测试指标,确定所述待测试人工智能模型的目标测试脚本,包括:
预先存储所述目标测试指标中每一个测试指标与测试脚本模板的对应关系;
根据所述目标测试指标、以及所述对应关系,确定所述待测试人工智能模型的目标测试脚本模板;
根据所述目标测试脚本模板、以及预先确定的测试脚本模板和测试脚本的对应关系,确定所述待测试人工智能模型的目标测试脚本。
6.根据权利要求1所述的方法,其特征在于,所述根据待测试人工智能模型的应用场景,确定所述待测试人工智能模型的目标测试指标,包括:
对所述待测试人工智能模型的标识信息进行语义分析,得到语义分析结果;
根据所述语义分析结果,确定所述待测试人工智能模型的应用场景;
根据所述应用场景、以及应用场景和测试指标的对应关系,确定所述目标测试指标。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
根据对所述异常数据的原因分析结果,对所述待测试人工智能模型进行优化。
8.一种人工智能测试装置,其特征在于,包括:
确定模块,用于根据待测试人工智能模型的应用场景,确定待测试人工智能模型的目标测试指标;根据所述目标测试指标,确定所述待测试人工智能模型的目标测试脚本;
测试模块,用于利用所述测试脚本对所述待测试人工智能模型进行测试;
处理模块,根据对所述待测试人工智能模型的测试结果,确定所述待测试人工智能模型的结果数据中的异常数据。
9.一种电子设备,其特征在于,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7中任一项所述的人工智能模型测试方法。
10.一种计算机存储介质,所述存储介质存储有计算机程序;其特征在于,所述计算机程序被执行后能够实现权利要求1至7中任一项所述的人工智能模型测试方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中移(苏州)软件技术有限公司;中国移动通信集团有限公司,未经中移(苏州)软件技术有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110706116.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:堆料检测方法、装置、计算机设备和存储介质
- 下一篇:一种柔性电子装置