[发明专利]模型管理方法、装置、存储介质及电子设备有效
申请号: | 201910837940.9 | 申请日: | 2019-09-05 |
公开(公告)号: | CN110795529B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 王明 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/332;G06F16/35 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 祝亚男 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 管理 方法 装置 存储 介质 电子设备 | ||
1.一种模型管理装置,其特征在于,所述装置包括:
检测模块,用于检测当前需要进行模型训练的目标服务;
数据准备模块,用于获取进行所述目标服务的模型训练需要的训练数据;
训练调度模块,用于调度数据处理平台优先基于所述训练数据,分布式训练所述目标服务的实体抽取模型;
所述训练调度模块,还用于在训练完所述目标服务的实体抽取模型后,再调度所述数据处理平台,基于所述训练数据和当前训练好的实体抽取模型,分别分布式训练所述目标服务的意图分类模型和槽位抽取模型;
收集模块,用于从所述数据处理平台收集所述目标服务的实体抽取模型、意图分类模型和槽位抽取模型;
合并模块,用于将收集到的实体抽取模型、意图分类模型和槽位抽取模型合并到当前最新版本的全量模型中,所述全量模型中包括多项服务的实体抽取模型、意图分类模型和槽位抽取模型;
发布模块,用于将当前完成模型合并后的全量模型发布至多个服务节点。
2.根据权利要求1所述的装置,其特征在于,所述训练调度模块,还用于在所述数据处理平台上启动所述目标服务的实体抽取模型的训练流程;
所述训练调度模块,还用于对于所述训练流程,将所述训练数据中的第一训练数据上传至所述数据处理平台的存储节点;调用所述数据处理平台中的第一特征提取节点,从所述存储节点中获取所述第一训练数据并对所述第一训练数据进行特征提取;调用所述数据处理平台中的第一模型训练节点,基于提取到的第一特征数据进行模型训练,得到所述目标服务的实体抽取模型。
3.根据权利要求1所述的装置,其特征在于,所述训练调度模块,还用于在所述数据处理平台上启动所述目标服务的意图分类的模型训练流程;
所述训练调度模块,还用于对于所述训练流程,将所述训练数据中的第二训练数据上传至所述数据处理平台的存储节点;调用所述数据处理平台中的第二特征提取节点,从所述存储节点中获取所述第二训练数据并对所述第二训练数据进行特征提取;调用所述数据处理平台中的第二模型训练节点,基于提取到的第二特征数据和当前训练好的实体抽取模型进行模型训练,得到所述目标服务的意图分类模型。
4.根据权利要求1所述的装置,其特征在于,所述训练调度模块,还用于在所述数据处理平台上启动所述目标服务的槽位抽取模型的训练流程;
所述训练调度模块,还用于对于所述训练流程,将所述训练数据中的第三训练数据上传至所述数据处理平台的存储节点;调用数据处理平台中的第三特征提取节点,从所述存储节点中获取所述第三训练数据并对所述第三训练数据进行特征提取;调用所述数据处理平台中的第三模型训练节点,基于提取到的第三特征数据和当前训练好的实体抽取模型进行模型训练,得到所述目标服务的槽位抽取模型。
5.根据权利要求1所述的装置,其特征在于,所述装置还包括:
验证模块,用于基于模拟验证环境,对当前完成模型合并后的全量模型进行模型效果验证,所述模拟验证环境用于模拟真实线上环境;
所述发布模块,还用于当所述当前完成模型合并后的全量模型通过模型效果验证时,将所述当前完成模型合并后的全量模型推送至中转节点,以由所述中转节点将所述当前完成模型合并后的全量模型发布至所述多个服务节点。
6.根据权利要求1所述的装置,其特征在于,在当前需要进行模型训练的目标服务为多项时,所述合并模块,还用于每次将一项服务的实体抽取模型、意图分类模型和槽位抽取模型合并到当前最新版本的全量模型中,所述发布模块还用于将当前完成模型合并后的全量模型发布至所述多个服务节点;
所述合并模块和所述发布模块,还用于重复执行上述模型合并和发布流程,直至遍历所述多项服务中的每一项服务。
7.根据权利要求1所述的装置,其特征在于,所述检测模块,还用于在接收到服务创建请求后,将所述服务创建请求指示创建的服务,确定为当前需要进行模型训练的目标服务;或,将已创建的服务中存在数据更新的服务,确定为当前需要进行模型训练的目标服务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910837940.9/1.html,转载请声明来源钻瓜专利网。