[发明专利]基于容器的模型训练测试调优和部署方法和装置

说明书

本发明提供一种基于容器的模型训练测试调优和部署方法和装置，所述方法包括以下步骤：对模型训练所在的容器环境部署service网格服务；通过模型训练和测试算法驱动程序接收接口服务请求入参进行算法迭代；在模型训练和测试算法迭代过程中，记录算法迭代参数和训练目标函数之间的关联关系，并对训练过程中的中间结果进行记录和可视化显示。本发明的方法，通过使用容器服务网格转换的方式，提高了安全性，并且算法的请求为请求接口服务，不会出现无法嵌入原有系统的问题，同时将模型训练的参数和训练过程中训练目标函数对应关系进行解析并存储，便于根据模型的性能指标对模型参数逆向调优，此外，对模型训练中间过程进行可视化展示，便于调试和训练优化。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于容器的模型训练测试调优和部署方法和一种基于容器的模型训练测试调优和部署装置。

背景技术

目前通过容器网络匹配转换的方式,为在容器外通过接口服务驱动算法训练和测试程序提供了一种便捷，灵活的调用方式,目前的容器算法调试主要以jupyter notebook远端调用的方式来执行，安全性和原有系统的兼容性上都差强人意。另外，目前的算法训练参数和模型评估能力的对应关系主要依赖于开发者自行记录，且不容易追溯模型训练的调参和优化过程。

发明内容

本发明为解决上述技术问题，提供了一种基于容器的模型训练测试调优和部署方法，能够通过使用容器服务网格转换的方式，提高了安全性，并且算法的请求为请求接口服务，不会出现无法嵌入原有系统的问题，同时将模型训练的参数和训练过程中训练目标函数对应关系进行解析并存储，便于根据模型的性能指标对模型参数逆向调优，此外，对模型训练中间过程进行可视化展示，便于调试和训练优化。

本发明采用的技术方案如下：

一种基于容器的模型训练测试调优和部署方法，包括以下步骤：对模型训练所在的容器环境部署service网格服务；通过模型训练和测试算法驱动程序接收接口服务请求入参进行算法迭代；在模型训练和测试算法迭代过程中，记录算法迭代参数和训练目标函数之间的关联关系，并对训练过程中的中间结果进行记录和可视化显示。

根据本发明的一个实施例，对模型训练所在的容器环境部署service网格服务，包括：将容器的targetPort端口和路由服务的启动端口设置为一致；配置容器内部的gateway端口为集群内路由转发端口；配置资源选择器；将所述容器的targetPort端口和所述集群内路由转发端口进行绑定；通过容器接口服务传递模型训练和测试参数。

根据本发明的一个实施例，上述的基于容器的模型训练测试调优和部署方法，还包括：将所述模型接口服务集成到所述容器配置文件Dockerfile中；在所述容器配置文件Dockerfile中将启动方式设置为后台守护进程启动，以使所述容器进行初始化。

根据本发明的一个实施例，通过模型训练和测试算法驱动程序接收接口服务请求入参进行算法迭代，包括：对所述模型训练和测试算法驱动程序进行入参的解析和类型规范，并将解析后的参数给模型训练程序；控制所述模型训练和测试算法驱动程序以异步线程提交的方式启动模型训练和测试主程序；控制所述模型训练和测试主程序根据模型训练和测试所需数据训练集和测试集进行算法训练和迭代。

根据本发明的一个实施例，所述模型训练和测试算法驱动程序以异步线程提交的方式启动模型训练和测试主程序之后，还包括：记录模型训练和测试主程序的启动状态信息；将调用状态返回到训练测试请求端。

根据本发明的一个实施例，上述的基于容器的模型训练测试调优和部署方法，还包括：判断入参中的数据集参数信息是否成功挂载数据集中对应的bucket到训练环境容器的存储卷路径；如果是，控制所述模型训练和测试主程序根据模型训练和测试所需数据训练集和测试集进行算法训练和迭代。