[发明专利]神经网络模型获取方法及系统、数据处理方法

说明书

本公开提供一种由计算机执行的神经网络模型获取方法、数据处理方法、神经网络模型获取系统、数据处理装置、电子设备和计算机可读存储介质。由计算机执行的神经网络模型获取方法包括：步骤S11，通过管理模块接收参数获取模块发送的超参数，并发送超参数至训练模块；步骤S12，通过训练模块基于超参数训练神经网络模型，确定训练评价信息，并发送至管理模块；步骤S13，通过管理模块发送训练评价信息至参数获取模块；步骤S14，通过参数获取模块基于训练评价信息调整神经网模型的超参数，并发送至管理模块；步骤S15，重复步骤S11至S14，通过管理模块确定最终的超参数，并获取对应的神经网络模型。获取神经网络模型更高效，成本低，性能好，质量高。

技术领域

本公开一般地涉及数据处理领域，具体涉及一种由计算机执行的神经网络模型获取方法、数据处理方法、神经网络模型获取系统、数据处理装置、电子设备和计算机可读存储介质。

背景技术

目前，在一些任务中，例如对图像进行分类识别的广泛发展与应用，离不开深度学习。在数据处理过程中，往往需要通过经过训练的神经网络模型来进行数据处理。例如，图片分类中用到的卷积神经网络(Convolutional Neural Networks,CNN)网络框架从简单的VGG(Visual Geometry Group Network)模型、到残差网络(Residual Network，ResNet)再到Imagenet等等。

在训练神经网络模型之前，需要先确定神经网络模型的结构和基础参数，即超参数。需要对超参数进行优化，选择一组最优超参数，以提高会后训练的性能和效果，为得到高质量的神经网络模型奠定基础。

而超参数的数量以及范围往往都是不确定的，所以它的搜索空间可能是一个极大的多维空间。目前常见的调优做法是通过手动调参以及手动地管理实验，但是人为确定或手动搜索超参数，不仅耗时、成本高，而且依赖于经验，得到的结果不可靠。

发明内容

为了解决现有技术中存在的上述问题，本公开的第一方面提供一种由计算机执行的神经网络模型获取方法，应用于神经网络模型获取系统，所述神经网络模型获取系统至少包括：管理模块、参数获取模块、训练模块；其中，所述由计算机执行的神经网络模型获取方法包括：步骤S11，通过所述管理模块接收所述参数获取模块发送的超参数，并发送所述超参数至所述训练模块；步骤S12，通过所述训练模块基于所述超参数训练所述神经网络模型，确定训练评价信息，并将所述训练评价信息发送至所述管理模块；步骤S13，通过所述管理模块发送所述训练评价信息至所述参数获取模块；步骤S14，通过所述参数获取模块基于所述训练评价信息调整所述神经网模型的超参数，并将调整后的超参数发送至所述管理模块；步骤S15，重复所述步骤S11至所述步骤S14，通过所述管理模块确定所述神经网络模型最终的超参数，并获取所述最终的超参数对应的神经网络模型。

在一实施例中，所述神经网络模型获取系统还包括：指令获取模块；所述由计算机执行的神经网络模型获取方法，还包括：通过所述指令获取模块获取创建信息，并发送至所述管理模块，其中，所述创建信息包括神经网络模块的初始化信息及搜索范围；通过所述管理模块发送所述创建信息至所述参数获取模块；通过所述参数获取模块基于所述创建信息确定所述神经网络模型初始的超参数，并发送至所述管理模块。

在一实施例中，所述神经网络模型获取系统基于Kubernetes设置，所述训练模块包括多个job容器；所述步骤S12包括：通过任一所述job容器，基于所述超参数训练所述神经网络模型，确定所述训练评价信息。

在一实施例中，所述神经网络模型获取系统还包括：存储模块；所述由计算机执行的神经网络模型获取方法，还包括：所述管理模块将所述最终的超参数和/或所述最终的超参数对应的神经网络模型发送至所述存储模块。

在一实施例中，所述存储模块为分布式文件存储的数据库。