[发明专利]模型验证方法、装置及电子设备

说明书

本发明实施例提出模型验证方法、装置及电子设备。方法包括：接收针对第一模型的模型验证任务；在当前所有进程中查找满足如下第一条件的进程：该进程为针对第一模型的模型验证进程、且该进程仍能被调度任务；判断是否查找到，若查找到，则将针对第一模型的模型验证任务调度到该进程上。本发明实施例提高了对图形处理单元资源的利用率。

技术领域

本发明涉及AI(Artificial Intelligence，人工智能)技术领域，尤其涉及模型验证方法、装置及电子设备。

背景技术

深度学习是ML(Machine Learning，机器学习)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能。

深度学习平台训练出来的模型经过一系列转化封装操作后形成最终的算法包，算法包便可落地到推理产品中进行应用，但是在真正的落地到产品中使用之前，一般会进行模型的效果验证。现有的验证方案主要有如下两种：

方案一，使用独立的推理平台进行模型验证，预先定义好一张用于模型验证的GPU(Graphics Processing Unit，图形处理单元)卡可以同时加载的算法的数量，具体的操作流程如下：

步骤01：在模型训练平台上训练出模型，导出模型到本地，进行转化、封装、组件和引擎的添加，最终打包成算法包；

步骤02：将算法包导入到独立的推理平台中，申请一张模型验证GPU卡，在申请到的GPU卡上启动该算法的推理应用进行模型验证；

步骤03：当需要同时验证多个算法时，根据预先定义的一张模型验证GPU卡上可以加载的算法的数量，优先占满一张GPU卡资源。

方案二，模型训练平台中集成推理应用，预先定义好一张训练GPU卡可以同时加载的算法数量，具体的操作流程如下：

步骤01：模型训练平台训练出模型，直接在平台上进行模型转化，转化为GPU应用类型的算法包；

步骤02：模型训练平台上操作进行算法包的验证，在没有该模型验证的GPU卡的情况下，平台会为模型验证任务申请一张训练GPU卡，并将需要验证的算法包加载到申请到的训练GPU卡上，启动推理应用进行模型验证；

步骤03：当需要同时验证多个算法时，根据预先定义的一张训练GPU卡上可以加载的算法的数量，优先占满一张GPU卡资源。

上述两个方案的缺陷如下：

一、预先定义好一张模型验证或者训练GPU卡可以同时加载的算法数量，无法自动满足全新类型GPU卡的情况，需要针对全新的GPU重新定义这个预设值；

二、预先定义好一张模型验证或者训练GPU卡可以同时加载的算法数量，达不到最大化的资源的使用率，当算法大小减小时，不能自动加载更多的算法进行模型验证，而当算法大小变大时，则预先定义的算法数量将无法满足；

三、采用独立的推理平台需要增加额外的服务器，增加成本。

发明内容

本发明实施例提出模型验证方法、装置及电子设备，以提高对GPU资源的利用率。

本发明实施例的技术方案是这样实现的：

一种模型验证方法，该方法包括：

接收针对第一模型的模型验证任务；

在当前所有进程中查找满足如下第一条件的进程：该进程为针对第一模型的模型验证进程、且该进程仍能被调度任务；

判断是否查找到，若查找到，则将针对第一模型的模型验证任务调度到该进程上。

所述判断是否查找到之后进一步包括：