[发明专利]网络异构计算平台测试方法、装置和计算机设备在审
申请号: | 202111354579.8 | 申请日: | 2021-11-16 |
公开(公告)号: | CN114297041A | 公开(公告)日: | 2022-04-08 |
发明(设计)人: | 高岩;杨亚楠;王强;虞飞 | 申请(专利权)人: | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06N3/04;G06N3/08;G06N20/00 |
代理公司: | 华进联合专利商标代理有限公司 44224 | 代理人: | 钟善宝 |
地址: | 511300 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网络 计算 平台 测试 方法 装置 计算机 设备 | ||
1.一种网络异构计算平台测试方法,其特征在于,所述方法包括:
获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标;所述所有测试指标包括资源利用和并行调度能力、智能计算框架和部件支持能力、智能数据和服务管理支撑能力、数据和模型隐私保护能力、智能算法并行优化能力及通用智能服务能力;所述资源利用和并行调度能力包含的所有子测试指标包括异构资源融合调度能力及任务集群自动扩展能力;所述智能计算框架和部件支持能力包含的所有子测试指标包括预设框架的支持能力及异构资源支持能力;所述智能数据和服务管理支撑能力包含的所有子测试指标包括多模式数据预标注能力、数据管理能力及交互式智能建模能力;所述数据和模型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、用户数据隐私保护能力及隐私保护数据聚合能力;所述智能算法并行优化能力包含的所有子测试指标包括智能算法库适配能力、智能算法并行优化效率、深度学习训练效率提升能力及深度学习训练效果提升能力;所述通用智能服务能力包含的所有子测试指标包括智能语音交互能力、视觉目标识别能力及自然语言处理能力;
获取每一测试指标包含的每一子测试指标对应的评价分数;
对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和,得到每一测试指标对应的评价分数。
2.根据权利要求1所述的方法,其特征在于,所述获取每一测试指标包含的每一子测试指标对应的评价分数,包括:
分别获取计算任务在通过所述网络异构计算平台的资源管理系统调度时的第一调度时长以及所述计算任务在未通过所述资源管理系统调度时的第二调度时长,计算所述第二调度时长与所述第一调度时长之间的第一比值,获取1与所述第一比值之间的第一差值,根据所述第一差值,确定所述异构资源融合调度能力对应的评价分数;
确定所述网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展部署策略所部署的计算资源总数,确定所述计算资源总数的第一倒数;计算自然常数的负所述第一倒数次方的第一次幂,根据所述第一次幂,确定所述任务集群自动扩展能力对应的评价分数,所述第一预设数量大于所述水平扩展部署策略的触发阈值。
3.根据权利要求1所述的方法,其特征在于,所述获取每一测试指标包含的每一子测试指标对应的评价分数,包括:
获取所有深度学习框架的总数量与所述网络异构计算平台所支持的深度学习框架的总数量之间的第二比值;根据所述第二比值的第二倒数,确定所述预设框架的支持能力对应的评价分数;
获取所有异构计算资源的总数量与所述网络异构计算平台所支持的异构计算资源的总数量之间的第三比值;根据所述第三比值的第三倒数,确定所述异构资源支持能力对应的评价分数。
4.根据权利要求1所述的方法,其特征在于,所述获取每一测试指标包含的每一子测试指标对应的评价分数,包括:
获取对所述网络异构计算平台的测试数据预标注的准确率,并作为所述多模式数据预标注能力对应的评价分数;所述预标注是指对所述测试数据的属性进行标注;
获取所述网络异构计算平台支持管理的数据实体的最大数量,管理项包括数据实体存储、数据实体处理及数据实体应用;确定所述最大数量的第四倒数;计算所述自然常数的负所述第四倒数次方的第二次幂,将所述第二次幂作为所述数据管理能力对应的评价分数;
获取第二预设数量个用户中每一用户对所述网络异构计算平台的交互式智能应用的评分;每一用户对所述交互式智能应用的评分的取值范围均为0至1;获取每一用户对所述交互式智能应用的评分与所述第二预设数量之间的第四比值,对每一第四比值进行叠加,得到第一求和结果;将所述第一求和结果作为所述交互式智能建模能力对应的评价分数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)),未经中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室))许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111354579.8/1.html,转载请声明来源钻瓜专利网。