[发明专利]超参数确定方法、装置、计算机设备和存储介质

说明书

本申请涉及一种超参数确定方法、装置、计算机设备和存储介质。所述方法包括：通信管理器从调参组件获取参数组，将参数组以及参数组标识输入进程池的进程中；进程池的进程根据参数组对模型进行验证，得到验证分数；当获取到进程池输出的验证分数时，将参数组标识以及验证分数发送至调参组件，其中，调参组件根据参数组标识以及验证分数获取更新后的参数组；从调参组件获取更新后的参数组，将更新后的参数组以及参数组标识输入进程池新增的进程中；当检测到进程池的任务结束时，从调参组件获取最终更新的参数组。采用本方法能够规避在Python环境中对多余软件的监控与调试，节省了计算机资源。

技术领域

本申请涉及计算机技术领域，特别是涉及一种超参数确定方法、装置、计算机设备和存储介质。

背景技术

在互联网时代，网络成了海量信息的载体，用户创建的短文本也成了互联网数据的重要来源，比如：用户对新闻的评论信息、用户发表的微博等，这些短文本成了信息交流和舆论传播的重要手段。短文本的基数非常庞大，且每天高速增长，数据中包含了用户对各种现象的观点和看法，话题涉及经济、娱乐、生活、体育等各个领域。通过文本分类模型对短文本进行分类，可跟踪社会热点信息、预测舆论趋势等。

但是，在对文本分类模型进行训练时，由于使用的调参算法的原因，常常需要安装其它软件支持训练，需要额外浪费计算机资源。

发明内容

基于此，有必要针对上述技术问题，提供一种节省计算机资源的超参数确定方法、装置、计算机设备和存储介质。

一种超参数确定方法，应用于Python环境，Python环境中包括进程池、通信管理器以及调参组件，所述方法包括：

所述通信管理器从所述调参组件获取参数组，将所述参数组以及参数组标识输入所述进程池的进程中；所述进程池的进程根据所述参数组对模型进行验证，得到验证分数；

当获取到所述进程池输出的验证分数时，将所述参数组标识以及所述验证分数发送至所述调参组件，其中，所述调参组件根据所述参数组标识以及所述验证分数获取更新后的参数组；

从所述调参组件获取所述更新后的参数组，将所述更新后的参数组以及参数组标识输入所述进程池新增的进程中；

当检测到所述进程池的任务结束时，从所述调参组件获取最终更新的参数组。在一个实施例中，所述通信管理器从所述调参组件获取参数组，将所述参数组以及参数组标识输入所述进程池的进程中，包括：

当所述通信管理器首次从所述调参组件获取所述参数组时，获取所述进程池的初始进程数量；

根据所述初始进程数量确定所述参数组的初始参数数量，将所述初始参数数量发送至所述调参组件，其中，所述调参组件生成所述初始参数数量的参数组；

从所述调参组件中获取所述初始参数数量的参数组，将所述初始参数数量的参数组以及参数组标识分别输入所述进程池的各个进程中。

在一个实施例中，所述调参组件根据所述参数组标识以及所述验证分数获取更新后的参数组，包括：

所述调参组件根据所述参数标识以及所述验证分数确定更新路径，所述更新路径上包括至少两个待选的参数组；

所述调参组件在所述更新路径上确定所述更新后的参数组。

在一个实施例中，所述方法还包括：

当接收到所述进程池发送的结束信息时，判定所述进程池的任务结束，其中，当所述进程池的进程数量达到预设数量时，生成所述结束信息，并将所述结束信息发送给所述通信管理器。

在一个实施例中，所述方法还包括：