[发明专利]机器学习模型的实时更新

说明书

本发明公开了机器学习模型的实时更新，可以针对应用程序更新诸如机器学习模型之类的资源，而不会对该应用程序造成任何重大停机。对于托管在网络边缘处的应用程序，可以将该应用程序部署在容器中，并将一个或更多个模型版本存储在本地存储器中的边缘处，可以根据需要将其安装到容器中。当使用不同的模型版本时，可以使用配置更改或新的上下文来触发该应用程序自动改变为不同的模型版本。可以无缝地执行此更新，而不会丢失任何数据。

相关申请的交叉引用

本申请要求于2019年10月20日提交的名称为“一种在使用时执行机 器学习模型的实时更新的方法(AMethod of Performing Live Updates of Machine LearningModels While in Use)”的美国临时专利申请序列号 62/923,591的优先权，出于所有目的，通过引用将其全部内容并入本文。

背景技术

诸如机器学习之类的技术正被用于各种行业中越来越多的各种任务。 例如，对于利用深度学习模型的应用程序，这些模型通常与应用程序一起 部署，例如部署在应用程序容器图像中。为了为基于机器学习的推理提供 最高级别的准确性，期望经常更新这些模型。但是，为了使用常规技术部 署这些新的或更新的模型，需要部署新的容器，这些容器要求先停止执行 应用程序的较早版本，然后才能在其位置处执行新的版本，这可能会导致大量停机或这些应用程序不可用。

附图说明

将参考附图描述根据本公开的各种实施例，其中：

图1示出了根据至少一个实施例的用于支持边缘应用程序的示例架构；

图2示出了根据至少一个实施例的模型管理系统；

图3示出了根据至少一个实施例的用于更新应用程序的机器学习模型 的示例过程；

图4示出了根据至少一个实施例的用于使用机器学习模型来启动边缘 应用程序的示例过程；

图5示出了根据至少一个实施例的用于更新边缘应用程序的机器学习 模型的示例过程；

图6示出了根据至少一个实施例的用于改变边缘应用程序所利用的模 型的版本的示例过程；

图7A示出了根据至少一个实施例的推理和/或训练逻辑；

图7B示出了根据至少一个实施例的推理和/或训练逻辑；

图8示出了根据至少一个实施例的示例数据中心系统；

图9示出了根据至少一个实施例的计算机系统；

图10示出了根据至少一个实施例的计算机系统；

图11示出了根据一个或更多个实施例的图形处理器的至少部分；

图12示出了根据一个或更多个实施例的图形处理器的至少部分；

图13是根据至少一个实施例的用于高级计算管线的示例数据流程图；

图14是根据至少一个实施例的用于在高级计算管线中训练、调整、实 例化和部署机器学习模型的示例系统的系统图；以及

图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型 的过程的数据流程图，以及用于利用预训练注释模型来增强注释工具的客 户端-服务器架构。

具体实施方式