[发明专利]基于Spark集群的模型训练方法、装置、设备及存储介质

说明书

本发明公开了一种基于Spark集群的模型训练方法，包括：获取训练样本；通过深度神经子网络生成器生成多个候选子网络，并基于训练样本，通过Spark集群中的多个第一弹性分布式数据集以及各个候选子网络，确定各个候选子网络对应的训练误差；基于各个训练误差，在各个候选子网络中确定最优子网络，并基于最优子网络以及主网络确定目标模型。本发明还公开了一种基于Spark集群的模型训练装置、设备及存储介质。本发明实现了在Spark集群中通过弹性分布式数据集进行模型训练，进而无需通过GPU服务器进行模型训练，还能够根据不同的训练样本实现不同网络模型的智能训练和优化，降低了模型训练与调优的工作量，提高了网络模型的训练效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于Spark集群的模型训练方法、装置、设备及存储介质。

背景技术

随着人工智能技术的快速发展，神经网络模型(可以简称为网络模型)在系统辨识、模式识别、智能控制等领域有着广泛的应用前景。同时，随着信息社会的快速发展，互联网产生的数据快速增长，目前通常会采用分布式计算的方式来处理海量数据。

其中，Spark是一个基于内存的分布式计算系统，目前已被工业界广泛应用与大数据处理与传统机器学习模型的训练。深度学习的模型主要采用GPU进行模型训练，大部分传统行业的公司一般只会部署一套Spark集群，不会另外配置GPU服务器，而造成模型训练需要耗费大量的时间，导致模型训练的效率低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于Spark集群的模型训练方法、装置、设备及存储介质，旨在解决现有部署Spark集群的系统模型训练效率低的技术问题。

为实现上述目的，本发明提供一种基于Spark集群的模型训练方法，所述基于Spark集群的模型训练方法包括以下步骤：

获取训练样本；

通过深度神经子网络生成器生成多个候选子网络，并基于所述训练样本，通过Spark集群中的多个第一弹性分布式数据集以及各个候选子网络，确定各个候选子网络对应的训练误差；

基于各个所述训练误差，在各个候选子网络中确定最优子网络，并基于所述最优子网络以及主网络确定目标模型。

在一实施例中，所述基于所述训练样本，通过Spark集群中的第一弹性分布式数据集以及各个候选子网络，确定各个候选子网络对应的训练误差的步骤包括：

基于各个候选子网络的网络参数以及主网络的主网络参数，确定各个候选子网络对应的目标网络参数；

基于所述训练样本，通过Spark集群中的多个第一弹性分布式数据集以及各个目标网络参数，确定各个候选子网络对应的训练误差。

在一实施例中，所述基于所述训练样本，通过Spark集群中的多个第一弹性分布式数据集以及各个目标网络参数，确定各个候选子网络对应的训练误差的步骤包括：

分别将各个目标网络参数分配至Spark集群中的各个第一弹性分布式数据集，以供所述第一弹性分布式数据集通过所述目标网络参数，基于所述训练样本进行训练；

通过第二弹性分布式数据集获取各个第一弹性分布式数据集对应的训练结果，并基于所述训练结果确定各个候选子网络对应的训练误差。

在一实施例中，所述基于各个所述训练误差，在各个候选子网络中确定最优子网络的步骤包括：

基于所述网络参数，获取各个候选子网络的网络层数对应的惩罚系数；

基于各个惩罚系数以及训练误差，分别确定各个候选子网络对应的权重分值；