[发明专利]提升AI智能分析在烟草仓储业务数据异常检测效率的方法

说明书

本发明提供一种提升AI智能分析在烟草仓储业务中数据异常检测效率的方法，包括如下步骤：预先配置告警参数及规则；采集系统数据；将系统数据推入AI智能运维系统进行机器学习，通过无监督学习获得告警数据；将系统数据推入AI智能运维系统进行机器学习之前，对系统数据进行预处理，预处理方法包括：把存储的系统数据指标分为两类，第一类包括count值和平均响应时间，第二类包括成功率、错误数；两类数据分别用一阶差分算法和二项分布算法进行处理质量之后，再进入步骤二中进行机器学习。该方法可有效减少因大量业务停顿造成的数据缺失对AI智能分析结果准确度的影响，提升AI智能分析在烟草仓储业务数据异常检测效率的精确度。

技术领域

本发明涉及烟草仓储业务数据异常检测方法技术领域，具体涉及一种提升AI智能分析在烟草仓储业务数据异常检测效率的方法。

背景技术

响应国家企业数字化转型的号召，烟草企业加速在云计算、大数据、人工智能等新技术领域的建设，以推进数字产业化和产业数字化转型。随着企业拥抱互联网技术程度的提高，分布式系统、新技术、新组建不断引入，IT架构不断扩展，数据呈数量级递增，运维的复杂度越来越高，引入人工智能技术分析海量数据，实现监控指标的智能异常检测、系故障定位等功能是目前常用的技术，并且在金融、互联网企业获得大量成功经验，但在烟草仓储业务的落地却一直不能获得理想的效果，原因在于烟草仓储业务数据指标大部分为小数据集，使得机器学习的效果不充分，如何在不改变烟草仓储业务数据特性基础上，提高AI智能分析在该业务领域数据异常检测效率是困扰烟草运维人员的问题。

同时，在AI智能落地烟草仓储业务的异常检测场景过程中，我们发现，仓储业务数据具有稀缺性的特点，在原料管理、成品管理等业务过程中，会产生大量的停顿，业务停顿过程中，数据也会缺失，学习数据量不够会导致异常检测模型的准确度下降。

其中，中烟新数字化仓储系统智能运维系统是在传统IT运维监控系统基础上，引入了AI技术，利用历史数据通过机器学习的方式训练出可以用于异常检测判断的算法模型。该AI技术已经较为成熟，利用现有算法或者是产品化的算法组合，步骤为：1、利用监控采集工具采集系统数据，2、将数据推入智能运维系统进行机器学习，通过无监督学习获得告警数据，3、在平台设置中，配置告警规则，配置内容包含：固定阈值、动态阈值容忍度、指标在多长时间内发现多少异常点系统进行告警等，但是，机器学习获得的告警目前均存在误告警的情况，漏报或者系统过敏感误报，但AI技术相较与传统告警的固定阈值技术已经有了很大的提升。

发明内容

为了解决上述技术问题，本发明的第一目的是提供一种提升AI智能分析在烟草仓储业务数据异常检测效率的方法，该方法可有效减少因大量业务停顿造成的数据缺失对AI智能分析结果准确度的影响，压缩机器学习产生的误告警数量，提升AI智能分析在烟草仓储业务数据异常检测效率的精确度。

本发明的第二目的是提供一种用于实现上述方法的提升AI智能分析在烟草仓储业务数据异常检测效率的系统。

基于上述目的，本发明的一个方面，提供一种提升AI智能分析在烟草仓储业务中数据异常检测效率的方法，包括如下步骤：

预先配置告警参数及规则，所述告警参数包含：固定阈值、动态阈值容忍度，所述规则包括各指标在多长时间内发现至少多少异常点时系统进行告警；

采集系统数据；

将系统数据推入AI智能运维系统进行机器学习，通过无监督学习获得告警数据；

还包括：将系统数据推入AI智能运维系统进行机器学习之前，对系统数据进行预处理，所述预处理方法包括：把存储的系统数据指标分为两类，第一类包括count值和平均响应时间，第二类包括成功率、错误数；两类数据分别用一阶差分算法和二项分布算法进行处理质量之后，再进入步骤二中进行机器学习。

作为优选，二项分布算法处理后的时间序列平稳化后，生成新的时序数据集再导入对特征周期提取敏感的AI智能分析系统进行多指标异常定位检测。