[发明专利]模型处理方法及系统在审
申请号: | 202011295236.4 | 申请日: | 2020-11-18 |
公开(公告)号: | CN112346870A | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 陈程;张茹;高明;周子凯;李凯;解浚源;吴良超;常龙;张力哲;吴迪;刘小兵 | 申请(专利权)人: | 脸萌有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N5/04 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 李柯莹 |
地址: | 英国开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 处理 方法 系统 | ||
1.一种模型处理方法,其特征在于,所述方法包括:
服务管理平台确定服务器集群进行推理服务所需的目标信息,其中,所述服务器集群包括多个引擎服务器,所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息;
所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置;
所述模型代理装置将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器;
所述目标引擎服务器根据所需使用的模型的信息获取所述模型,以通过所述模型得到推理结果。
2.根据权利要求1所述的方法,其特征在于,所述目标引擎服务器通过如下方式之一根据所需使用的模型的信息获取所述模型:
所述目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从所述模型存储平台获取所述目标引擎服务器所需使用的模型的第一模型获取请求,并接收所述模型存储平台发送的所述模型;
所述目标引擎服务器根据所需使用的模型的信息向存储有所述模型的点对点传输种子模块发送用于请求从所述点对点传输种子模块获取所述目标引擎服务器所需使用的模型的第二模型获取请求,并接收所述点对点传输种子模块发送的所述模型。
3.根据权利要求1所述的方法,其特征在于,在所述目标引擎服务器根据所需使用的模型的信息获取所述模型之后,所述方法还包括:
所述目标引擎服务器对所述模型进行完整性验证,得到完整性验证结果;
在所述完整性验证结果表征对所述模型的完整性验证通过的情况下,所述目标引擎服务器加载所述模型;
在所述完整性验证结果表征对所述模型的完整性验证未通过的情况下,所述目标引擎服务器将所述完整性验证结果发送至所述模型代理装置,并由所述模型代理装置将所述完整性验证结果发送至所述服务管理平台。
4.根据权利要求3所述的方法,其特征在于,在所述目标引擎服务器加载所述模型之后,所述方法还包括:
在所述模型加载成功的情况下,所述目标引擎服务器通过所述模型得到所述推理结果;
在所述模型加载失败的情况下,所述目标引擎服务器将表征模型加载失败的加载结果发送至所述模型代理装置,以由所述模型代理装置将所述加载结果发送至所述服务管理平台。
5.根据权利要求1所述的方法,其特征在于,至少一个所述目标引擎服务器包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器;
所述方法还包括:
所述服务管理平台获取通过所述新版本模型得到的第一推理结果和通过所述旧版本模型得到的第二推理结果;
所述服务管理平台在所述第一推理结果与所述第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下,将所述新版本模型的状态更新为在线状态,将所述旧版本模型的状态更新为下线状态,以使需要使用所述模型的引擎服务器获取所述新版本模型。
6.根据权利要求1所述的方法,其特征在于,所述服务器集群对应的所述模型代理装置有多个,相同类型的所述引擎服务器对应同一所述模型代理装置;
所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置,包括:
所述服务管理平台将所述目标信息发送到至少一个所述目标引擎服务器各自对应的所述模型代理装置。
7.根据权利要求1所述的方法,其特征在于,所述服务器集群包括多个子服务器集群,每一所述子服务器集群包括至少一个引擎服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于脸萌有限公司,未经脸萌有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011295236.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种便于安装的网络工程电力柜
- 下一篇:一种应用于计算机网络设备的安全装置