[发明专利]对机器学习模型创作和部署的主动监测和学习

权利要求书

1.一种方法，包括：

由包括处理器的系统将在训练数据集上训练的主机器学习(ML)模型应用于从所述训练数据集中排除的数据样本，以基于所述数据样本生成推断；以及

由所述系统采用一种或多种主动监测技术来与所述应用相关联地调节所述主ML模型的性能，其中所述一种或多种主动监测技术包括以下中的至少一者：执行所述主ML模型相对于所述数据样本的模型范围评估，或使用所述主ML模型的域适配版本来生成所述推断。

2.根据权利要求1所述的方法，其中所述执行所述模型范围评估包括确定针对所述数据样本的置信度得分，所述置信度得分表示所述主ML模型在新数据样本上的性能的置信度水平，并且其中所述使用所述域适配版本包括基于确定所述置信度水平小于阈值置信度水平来使用所述主ML模型的所述域适配版本。

3.根据权利要求1所述的方法，所述方法还包括：

由所述系统将分别针对所述数据样本确定的所述推断呈现给一个或多个实体；以及

由所述系统从一个或多个实体接收关于所述推断的准确性的反馈。

4.根据权利要求3所述的方法，所述方法还包括：

由所述系统生成所述主ML模型和所述主ML模型的所述域适配版本的性能评估信息，所述性能评估信息包括所述推断和所述反馈；以及

由所述系统将所述性能评估信息提供给外部系统，所述外部系统监控在不同站点部署的多个ML模型的性能。

5.根据权利要求1所述的方法，其中所述执行所述模型范围评估包括采用离群值检测模型来确定所述数据样本是否在所述训练数据集的范围内。

6.根据权利要求5所述的方法，其中所述离群值检测模型是在所述训练数据集上训练的，并且其中所述方法还包括：

由所述系统接收所述离群值检测模型的在第二训练数据集上训练的更新版本，所述第二训练数据集包括被确定为在所述主ML模型的范围之外的所述数据样本的子集；以及

基于所述接收，由所述系统采用所述更新的离群值检测模型而不是所述离群值检测模型来执行针对新数据样本的所述模型范围评估。

7.根据权利要求1所述的方法，其中所述采用所述一种或多种主动监测技术包括：

由所述系统执行所述模型范围评估以确定所述数据样本是否在所述训练数据集的范围内；以及

由所述系统基于所述数据样本在所述范围内的第一确定来将所述主ML模型应用于所述数据样本中的一个数据样本，或者

由所述系统基于所述数据样本不在所述范围内的第二确定来将所述主ML模型的所述域适配版本应用于所述一个数据样本。

8.根据权利要求1所述的方法，其中所述主ML模型的所述域适配版本包括特征提取网络，所述特征提取网络基于第二训练数据集来训练，所述第二训练数据集包括训练数据样本，所述训练数据样本假定相对于所述训练数据集与所述数据样本具有更高程度的对应性。

9.一种系统，包括：

存储器，所述存储器存储计算机可执行部件；以及

处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：

模型部署模块，所述模型部署模块接收从用于训练主机器学习(ML)模型的训练数据集中排除的数据样本；

模型范围评估部件，所述模型范围评估部件确定所述主ML模型相对于所述数据样本的范围；以及

模型应用部件，所述模型应用部件基于所述主ML模型的所述范围来将所述主ML模型或所述主ML模型的域适配版本应用于所述数据样本以生成推断。

10.根据权利要求9所述的系统，其中所述模型应用部件基于所述数据样本在所述主ML模型的所述范围内的第一确定来将所述主ML模型应用于所述数据样本中的一个数据样本，并且其中所述模型应用部件基于所述数据样本在所述主ML模型的范围之外的第二确定来将所述主ML模型的所述域适配版本应用于所述一个数据样本。