[发明专利]一种基于数据驱动的模型训练系统

说明书

本发明涉及一种基于数据驱动的模型训练系统，包括：初始模型构建器，用于从用户终端浏览器获取数据训练集，并根据数据训练集从预设的网络结构模型库中选择对应的网络结构模型；参数提取器，用于根据预设的参数框架从所述网络结构模型中提取预设参数；模型映射器，用于选择目标深度学习框架，将预设参数映射为目标深度学习框架对应的映射数据和映射模型；代码生成器，用于将映射数据和映射模型动态生成可执行的代码；代码执行器，用于运行可执行的代码，并生成运行结果。本发明简化了模型训练流程，提高了模型训练的效率，降低了用于操作难度，使得非专业人员也能够使用。

技术领域

本发明涉及模型训练技术领域，尤其涉及一种基于数据驱动的模型训练系统。

背景技术

随着机器学习技术的不断发展，模型训练应用广泛，但往往掌握机器学习知识的专业人员才能进行模型训练。然而，越来越多非机器学习领域的专业人员也需要用到模型训练。超级计算机具备天然的巨大算力和大规模数据融合的属性，因此将模型训练过程在超级计算机上执行也成为发展趋势，同样，超级计算机也需要掌握超级计算机的专业人员才能操作超级计算机。因此如何将模型训练运行于超级计算机，提升模型训练的效率，且简化使用流程，使得非专业人员也能够使用成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于数据驱动的模型训练系统，简化了模型训练流程，提高了模型训练的效率，降低了用于操作难度，使得非专业人员也能够使用。

一种基于数据驱动的模型训练系统，包括：

初始模型构建器，设置于云服务器上，所述云服务器与超级计算机和用户终端通信连接，用于从用户终端浏览器获取数据训练集，并根据所述数据训练集从预设的网络结构模型库中选择对应的网络结构模型；

参数提取器，设置于所述云服务器上，所述参数提取器用于根据预设的参数框架从所述网络结构模型中提取预设参数；

模型映射器，设置于所述云服务器上，用于选择目标深度学习框架，将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型；

代码生成器，设置于所述超级计算机上，用于将所述映射数据和映射模型动态生成可执行的代码；

代码执行器，设置于超级计算机上，用于运行所述可执行的代码，并生成运行结果。

进一步的，所述系统还包括网络结构模型库构模块，用于将共性的网络结构模型以及对应的参数进行集成封装，将所述网络结构模型库中每一所述网络结构模型对应的预设的待配置参数设置为待输入状态，除所述待配置参数以外的所有参数配置为默认值。

进一步的，所述初始模型构建器包括网络结构模型推荐单元，用于根据所述数据训练集样本数量的大小向所述用户终端推荐对应的网络结构模型。

进一步的，所述系统还包括目标深度学习框架确定模块，用于根据超级计算机上所配置的深度学习框架以及资源使用情况，确定所述目标深度学习框架。

进一步的，所述初始模型构建器内设置有数据层、计算图层和训练层，所述初始模型构建器在所述数据层设定训练数据的位置，在所述计算图层设定网络结构模型的有向图结构，在所述训练层设定训练计算所需资源，所述训练计算所需资源包括节点数、训练轮次和每轮次所需数据量大小。

进一步的，所述预设的参数框架包括数据参数、模型参数和计算资源，所述参数提取器具体用于：

从所述数据层提取所述数据参数，所述数据参数包括数据源、数据格式和数据大小；

从所述计算图层提取模型参数，所述模型参数包括图的节点组成、连接关系以及所述计算图层中每个图节点对应的参数；

从所述训练层中提取训练计算所需的计算资源。