[发明专利]一种模型失效检测方法、装置、电子设备及介质

说明书

本发明涉及一种模型失效检测方法、装置、电子设备及介质，所述方法包括：获取待测模型对应的训练数据的第一文本分布；获取所述待测模型对应的业务数据的第二文本分布；获取所述第一文本分布以及所述第二文本分布之间的偏移值；在所述偏移值大于预设的预警阈值时，执行预设操作，例如发出报警信息；最后从公共词集合中按照偏离量由大到小的顺序对单词进行排序。本发明的技术方案，属基于KL散度或JS散度的数据分布差异量化方法，可实现针对文本数据应用场景的各项适配，保证模型在上线后性能符合预期；本发明的有益效果包括：及时对模型的退化情况进行量化预警，避免低效率的数据收集工作，避免造成资源浪费。

技术领域

本发明涉及机器学习领域，尤其涉及一种模型失效检测方法、装置、电子设备及介质。

背景技术

自然语言处理模型如今被广泛应用于网络中的海量文本数据，对这些数据进行结构化整理、分析。在当下的机器学习领域，模型的表现更多取决于数据的数量和质量，以及训练任务设计的合理性。

当前的机器学习中的模型泛化能力，指的是模型在遇到领域内相似情形时的推断能力，即内插(Interpolation)泛化能力，而非针对领域外数据的外推(Extrapolation)能力。简而言之，目前的机器学习模型，普遍要求在上线后所遇到的待分析数据，不能超出之前所用于训练的数据分布，否则模型的推断效果就会发生显著下降，即发生退化现象。受到使用场景的分布变化速度影响，所述退化现象的明显程度不一。

在自媒体快速发展的当下，网络用语飞速传播，容易出现词语概念的改变、情感的极性翻转，进而影响模型上线后的准确率。为了保证模型在上线后性能符合预期，目前业界的解决方案为：定时从模型的真实工作环境中收集数据，并将这些数据整合到原来的训练数据中，重新训练模型后对线上模型进行更新。

由前述背景可以明确，模型的部署上线，并不是一劳永逸的任务终点，上线后的持续跟踪维护，才是维持其性能的重要环节。因此，现有技术的缺陷主要体现在跟踪维护的过程中，具体包括：

在模型并未发生显著退化的情况下，进行低效率的数据收集工作，容易造成资源浪费；对突发事件造成的噪声无法有效识别，容易导致训练模型不够精准；这种导致模型退化的分布变化是存在其内在价值的，现有技术无法在实质上追踪这些分布变化，导致错失有价值的时序变化信息。

发明内容

本发明所述技术方案，可针对不同的文本数据应用场景，与现有技术相比实现更好地检测模型的失效情况。

本发明所要解决的技术问题为：及时对模型的退化情况进行量化预警，避免低效率的数据收集工作，避免造成资源浪费；通过高度匹配的数据排序方法，排除低价值数据，解决训练模型不精准的问题；通过获取造成差异的主要归因词汇，追踪导致模型退化的分布变化情况，挖掘变化情况的内在价值。

第一方面，本发明提供了一种模型失效检测方法，包括：获取待测模型对应的训练数据的第一文本分布；所述训练数据为自然语言数据，所述第一文本分布包括单词及所述单词对应的词频；获取所述待测模型对应的业务数据的第二文本分布；所述业务数据为在预设的时间区间内采集的所述待测模型对应的自然语言数据，所述第二文本分布包括单词及所述单词对应的词频；获取所述第一文本分布以及所述第二文本分布之间的偏移值；在所述偏移值大于预设的预警阈值时，执行预设操作。

其进一步的技术方案为，所述获取待测模型的训练数据的第一文本分布还包括：对所述训练数据进行分词处理，得到第一文本集合；将所述第一文本集合中的停用词删除，得到第二文本集合；对所述第二文本集合中的单词进行词频统计，得到所述第一文本分布。

其进一步的技术方案为，所述获取待测模型对应的业务数据的第二文本分布还包括：对所述业务数据进行分词处理，得到第三文本集合；将所述第三文本集合中的停用词删除，得到第四文本集合；对所述第四文本集合中的单词进行词频统计，得到所述第二文本分布。