[发明专利]超参数调优方法、装置、服务器、客户端及介质

说明书

本公开提供了一种超参数调优方法，应用于服务器，该方法包括：接收超参数调优请求；基于所述超参数调优请求生成超参数调优任务；根据所述超参数调优请求中用户的环境标识对所述超参数调优任务进行配置；根据所述超参数调优任务的标识码确定执行所述超参数调优任务的节点，并在所述节点上运行算法模型以对所述超参数调优任务进行训练，并根据用户身份标识存储训练所述超参数调优任务时产生的日志数据；响应于用户操作，根据用户权限向客户端发送所述日志数据。

技术领域

本公开涉及互联网的技术领域，尤其涉及一种超参数调优方法、装置、服务器、客户端及介质。

背景技术

随着机器学习越来越受人们的青睐，在机器学习领域中，算法模型对超参数的要求也越来越高，通常在进行机器学习之前，需要对超参数进行调优。目前主要使用的超参数调优系统主要有两个，一个是微软开源的nni，一个是kubeflow社区开源的katib，两者都可以解决超参数调优的问题。例如，客户端给定一个超参数的范围，然后超参数系统可以根据常用的超参数选择算法，如random，grid等来选择合适的超参数来进行多轮训练，训练结束后可以实现超参数训练的可视化展示。

但是，在实现本发明的发明构思的过程中，发明人发现现有技术至少存在以下问题：nni和katib都无法实现多租户隔离，单一用户可以看到所有用户的模型训练效果，从而给实际生产带来了很大的安全隐患。且在开发环境上，nni和katib只能在统一的开发环境上让算法工程师进行模型训练，无法做到多用户多开发环境的多租户效果。

发明内容

有鉴于此，本公开提供一种超参数调优方法、装置、服务器、客户端及介质，进而至少部分地解决了由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的第一个方面提供了一种超参数调优方法，应用于服务器，该方法包括：接收超参数调优请求；基于所述超参数调优请求生成超参数调优任务；根据所述超参数调优请求中用户的环境标识对所述超参数调优任务进行配置；根据所述超参数调优任务的标识码确定执行所述超参数调优任务的节点，并在所述节点上运行算法模型以对所述超参数调优任务进行训练，并根据用户身份标识存储训练所述超参数调优任务时产生的日志数据；响应于用户操作，根据用户权限向客户端发送所述日志数据。

根据本公开的实施例，所述超参数调优请求中包含超参数选择算法和针对超参数设置的阈值范围，基于所述超参数调优请求生成超参数调优任务包括：利用所述超参数选择算法对超参数的阈值范围进行计算，得到超参数列表；基于所述超参数列表生成与所述超参数列表相对应的超参数调优任务列表。

根据本公开的实施例，所述超参数调优请求中包含所述算法模型的运行脚本，在所述节点上运行算法模型以对所述超参数调优任务进行训练包括：在所述节点上启动所述算法模型的运行脚本，并在该脚本上运行所述算法模型以对所述超参数调优任务进行训练。

根据本公开的实施例，根据用户身份标识存储训练所述超参数调优任务时产生的日志数据包括：根据用户身份标识将训练所述超参数调优任务时产生的日志数据存储至分布式文件系统。

根据本公开的实施例，所述超参数调优任务包括单机超参数调优任务和/或分布式超参数调优任务。

根据本公开的实施例，所述日志数据包括以下任意一项或多项：算法模型的指标数据、超参数的数值、所述指标数据的变化趋势、训练所述算法模型的耗时、所述指标数据的对比效果。

本公开的第二个方面提供了一种超参数调优方法，应用于客户端，该方法包括：向服务器发送超参数调优请求，以使得所述服务器基于所述超参数调优请求生成超参数调优任务，根据所述超参数调优请求中用户的环境标识对所述超参数调优任务进行配置，根据所述超参数调优任务的标识码确定执行所述超参数调优任务的节点，并在所述节点上运行算法模型以对所述超参数调优任务进行训练，并根据用户身份标识存储训练所述超参数调优任务时产生的日志数据；接收并展示所述日志数据。