[发明专利]一种机器学习引擎服务系统及模型训练方法和配置方法有效
申请号: | 202110897441.6 | 申请日: | 2021-08-05 |
公开(公告)号: | CN113505895B | 公开(公告)日: | 2023-05-05 |
发明(设计)人: | 程战战 | 申请(专利权)人: | 上海高德威智能交通系统有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06N3/0895;G06N3/091 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 项京;马敬 |
地址: | 201821 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 机器 学习 引擎 服务 系统 模型 训练 方法 配置 | ||
1.一种机器学习引擎服务系统,其特征在于,所述系统包括:
模型管理模块、数据管理模块、模型训练引擎、配置信息存储模块和模型信息存储模块;所述系统还包括:策略信息存储模块和策略管理模块;
所述模型训练引擎,用于对网络模型进行训练;
所述配置信息存储模块,用于存储所述系统提供的每种任务模型的配置信息;其中,每种任务模型的配置信息中,包含:该任务模型使用的网络模型的结构信息、该网络模型的超参数和该任务模型使用的数据集的配置信息;
所述配置信息存储模块存储的配置信息中,至少一个任务模型的配置信息中还包含:策略配置信息;所述策略配置信息包括:该任务模型需要调用的至少一个策略的策略标识及每个策略的策略参数配置信息;一个策略标识与高级机器学习算法中的一个子算法对应;
所述模型信息存储模块,用于存储所述系统提供的每种网络模型的模型数据;所述网络模型的模型数据包括该网络模型的程序代码;
所述模型管理模块,具体用于基于使用用户确定的目标任务,从所述配置信息存储模块中获得对应的目标任务模型的目标配置信息,并基于所述目标配置信息,及所述模型信息存储模块中存储的网络模型的模型数据,构建并加载所述目标任务模型;并调用所述数据管理模块加载目标数据集;
在所述目标任务模型的配置信息中包含策略配置信息的情况下,按照预设的所述目标任务的目标训练流程,调用所述模型训练引擎和策略管理模块,基于所述目标数据集对所述目标任务模型进行训练;所述目标训练流程中包含:对所述目标配置信息中的目标网络模型进行训练,以及对所述目标配置信息中的目标策略进行加载和执行的顺序;
所述数据管理模块,用于在被所述模型管理模块调用时,基于所述目标配置信息中的目标数据集的配置信息,加载目标数据集;
所述策略信息存储模块,用于存储所述系统提供的每种策略的程序代码;
所述策略管理模块,用于在被所述模型管理模块调用时,基于所述策略信息存储模块中存储的策略的程序代码及所述目标任务模型的策略配置信息,加载并执行所述目标策略,将策略执行结果反馈至所述模型管理模块。
2.根据权利要求1所述的系统,其特征在于,
所述系统还包括:多个训练接口,每个训练接口与一个任务模型对应,每个训练接口中包含其对应的任务模型的训练流程;
所述模型管理模块,在所述目标任务模型的配置信息中包含策略信息的情况下,按照预设的所述目标任务的目标训练流程,调用所述模型训练引擎和策略管理模块,基于所述目标数据集对所述目标任务模型进行训练,包括:确定所述目标任务对应的目标训练接口,调用所述目标训练接口以按照预设的所述目标任务的目标训练流程,调用所述模型训练引擎和策略管理模块,基于所述目标数据集对所述目标任务模型进行训练。
3.根据权利要求1所述的系统,其特征在于,所述系统还包括:模型配置模块;
所述模型配置模块,用于获得研发用户对任务模型进行配置的配置信息,存储至所述配置信息存储模块中;
所述模型信息存储模块,还用于对研发用户导入的新的网络模型的模型数据进行存储;
所述策略信息存储模块,还用于对研发用户导入的新的策略的程序代码进行存储。
4.根据权利要求1所述的系统,其特征在于,所述系统还包括:数据输出模块;
所述数据输出模块,用于按预设的统一输出格式,输出各种待输出数据。
5.根据权利要求1所述的系统,其特征在于,所述系统还包括:脚本展示模块、工具模块和日志分析模块中的一种或多种:
所述脚本展示模块,用于基于使用用户和/或研发用户触发的展示指令,将所述模型管理模块进行目标任务模型训练的过程的脚本实例展示给用户;
所述工具模块,用于为使用用户和/或研发用户提供辅助工具;所述辅助工具至少包括:用于展示目标任务模型训练过程中的特征变化和/或特征分布的特征可视化展示工具;
所述日志分析模块,用于对所述模型管理模块在训练目标任务模型的过程中生成的日志数据进行分析。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海高德威智能交通系统有限公司,未经上海高德威智能交通系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110897441.6/1.html,转载请声明来源钻瓜专利网。