[发明专利]多模型的管理方法、系统、介质及服务器

说明书

本发明提供一种多模型的管理方法、系统、介质及服务器，所述多模型的管理方法包括：根据模型的依赖库的依赖关系确定所述模型适用的运行环境；比较所述模型的依赖库与所述运行环境的依赖库之间版本信息的差异；判断差异的程度，并根据所述差异的程度对所述运行环境进行更新。本发明提供了一种自动化升级管理模型运行环境的管理策略，最大化减少多模型所需的运行环境数量。同时，降低模型过程的硬件资源消耗，以及提升运行环境维护效率。

技术领域

本发明属于模型部署的技术领域，涉及一种模型管理方法，特别是涉及一种多模型的管理方法、系统、介质及服务器。

背景技术

在诸多模型的生产过程中，例如机器学习模型，为了让模型能够顺利的运行，需要运行环境能够提供和模型所匹配的依赖环境。然而，不同模型所需要的依赖环境并不一致。如何正确的管理运行环境和模型，使得它们能够匹配，是模型部署阶段的一个难点。

尽管存在Docker等容器化技术，能够可靠对特定的模型创建匹配的运行环境，但是这会导致每个模型都需要一个独立的Docker容器包，造成大量硬件资源的浪费。例如，如果存在100个模型，那么服务器上要运行100个独立的服务，如果这些模型需要用到TensorFlow， Pandas等常见的第三方库，那么每个环境都可能需要占用超过1G的硬盘空间。其中，TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现，Pandas是python的一个数据分析包，为了解决数据分析任务而创建。

与此同时，依赖库的升级也会变得困难。例如，如果发现有个依赖库存在bug，需要升级修复，那么需要对所有模型的依赖库进行替换和升级。

因此，如何提供一种多模型的管理方法、系统、介质及服务器，以解决现有技术无法简化依赖库的升级过程并通过优化运行环境数量进行硬件资源的有效利用等缺陷，成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多模型的管理方法、系统、介质及服务器，用于解决现有技术无法简化依赖库的升级过程并通过优化运行环境数量进行硬件资源的有效利用的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种多模型的管理方法，所述多模型的管理方法包括：根据模型的依赖库的依赖关系确定所述模型适用的运行环境；比较所述模型的依赖库与所述运行环境的依赖库之间版本信息的差异；判断差异的程度，并根据所述差异的程度对所述运行环境进行更新。

于本发明的一实施例中，根据模型的依赖库的依赖关系确定所述模型适用的运行环境的步骤包括：遍历所有的运行环境的依赖关系，在所有的运行环境中查找与所述模型匹配的运行环境。

于本发明的一实施例中，判断差异的程度，并根据所述差异的程度对所述运行环境进行更新的步骤包括：根据是否需要向后兼容的升级，将所述差异的程度分为次版本号升级和主版本号升级；若为次版本号升级，则对所述运行环境进行升级；若为主版本号升级，则在所述运行环境的基础上创建新的运行环境。

于本发明的一实施例中，若为次版本号升级，则对所述运行环境进行升级的步骤包括：逐一确定所述模型依赖的多个依赖库的版本；在所述运行环境中确定待升级的依赖库和/或待补充的依赖库；将所述运行环境中待升级的依赖库替换为所述模型依赖的依赖库和/或在所述运行环境中补入待补充的依赖库。

于本发明的一实施例中，若为主版本号升级，则在所述运行环境的基础上创建新的运行环境的步骤包括：逐一确定所述模型依赖的多个依赖库的版本；按照所述模型的依赖库版本与依赖关系，创建新的运行环境。

于本发明的一实施例中，根据模型的依赖库的依赖关系确定所述模型适用的运行环境的步骤之前，所述多模型的管理方法还包括：在所述模型的训练过程中，记录所述模型需要调用的各个依赖库之间的依赖关系。