[发明专利]在统计模型中自动检测和管理异常

权利要求书

1.一种方法，包括：

通过计算机系统跟踪与统计模型的第一版本的性能相关的一个或多个度量的分布；以及

基于所述分布中的偏差，确定所述统计模型的所述第一版本的性能的变化；

响应于确定当前版本的所述性能的所述变化，从所述统计模型的额外版本集合中选择所述统计模型的第二版本；以及

触发到所述统计模型的所述第二版本的回滚。

2.根据权利要求1所述的方法，还包括：

在所述回滚被执行之后，跟踪与所述统计模型的所述第二版本的所述性能相关的所述一个或多个度量的额外分布；以及

当所述额外分布指示先前的所述第一版本的所述性能的退化时，触发到所述统计模型的第三版本的额外回滚。

3.根据权利要求2所述的方法，还包括：

输出所述回滚、所述额外回滚以及所述统计模型的所述第一版本和所述第二版本的所述性能的警报。

4.根据权利要求1所述的方法，还包括：

基于所述第二版本的历史性能，选择所述统计模型的所述第二版本。

5.根据权利要求1所述的方法，还包括：

在所述分布中的所述偏差被检测到之后，测试所述统计模型的先前版本集合的所述性能；以及

在所述先前版本集合中选择所述统计模型的具有最佳性能的所述第二版本。

6.根据权利要求1所述的方法，其中跟踪所述一个或多个度量的所述分布包括：

将所述一个或多个度量聚集成时间序列；以及

分析所述时间序列的一个或多个特性。

7.根据权利要求6所述的方法，其中所述时间序列包括以下中的至少一个：

平均值；

方差；

百分比；

计数；以及

总和。

8.根据权利要求6所述的方法，其中所述时间序列的所述一个或多个特性包括以下中的至少一个：

趋势分量；

季节分量；

循环分量；以及

不规则分量。

9.根据权利要求1所述的方法，其中所述分布中的所述偏差包括以下中的至少一个：

平均偏移；

方差变化；

趋势变化；以及

异常值。

10.根据权利要求1所述的方法，还包括：

在所述分布中的所述偏差被检测到之后，触发对所述统计模型的所述第一版本的重新训练；以及

在所述重新训练完成之后，重新部署所述统计模型的所述第一版本。

11.根据权利要求1所述的方法，其中所述一个或多个度量包括观察/预期(O/E)比。

12.根据权利要求1所述的方法，其中所述一个或多个度量包括分数分布。

13.一种装置，包括：

一个或多个处理器；以及

存储指令的存储器，所述指令在由所述一个或多个处理器执行时使所述装置：

跟踪与统计模型的第一版本的性能相关的一个或多个度量的分布；

基于所述分布中的偏差，确定所述统计模型的所述第一版本的性能的变化；

响应于确定当前版本的所述性能的所述变化，从所述统计模型的额外版本集合中选择所述统计模型的第二版本；以及

触发到所述统计模型的第二版本的回滚。