[发明专利]接口数据的异常值检测方法及系统

说明书

本发明公开了一种接口数据的异常值检测方法及系统，所述异常值检测方法包括：获取接口在设定历史时间范围内的历史请求量；根据历史请求量获取请求量特征值；采用LightGBM算法对请求量特征值进行处理，建立请求量预测模型；根据请求量预测模型，预测接口在下一个设定时间段内的请求量预测值；根据历史请求量和请求量预测值，获取下一个设定时间段对应的正常请求量范围；判断请求量预测值是否在正常请求量范围内，若不在，则发送报警信息。本发明克服了现有技术中的检测接口数据中的异常值时存在容易产生误报、漏报的缺陷，且可以实时获取的各个接口的历史请求量自动调整请求量预测模型，实现及时报警，具有通用性。

技术领域

本发明涉及数据处理技术领域，特别涉及一种接口数据的异常值检测方法及系统。

背景技术

现有技术中，很多场景中需要对接口的请求量等数值是否发生异常进行检测。其中，请求量是指代码调取接口的次数，接口的请求量发生异常是指请求量大幅度地偏离历史正常数值或者为零等异常情况。

目前，一般根据设定的规则对数值中的异常值进行检测，比如检测本期数据偏离历史同期数据的情况，或是根据一些简单的统计量进行判断，比如偏离三个标准差以上的情况等；但是，这些简单的设定规则会导致以下问题：1)当同期数据发生异常时，会导致本期数值原本属于正常但由于偏离该同期数值较大时，从而产生误报的情况；2)当同期数据发生异常时，会导致本期数值属于异常但由于偏离同期数值较小时，从而产生漏报的情况；3)由于节假日等特殊日期的临近，数值每天的正常增量导致的与近期数值偏差较大，从而产生误报的情况；4)由于每个请求量的特殊性，导致不能有效地设定通用的偏离值和报警规则。

发明内容

本发明要解决的技术问题是现有技术中的检测接口数据中的异常值的方式存在容易产生误报、漏报，且不能有效地设定通用的偏离值和报警规则等缺陷，目的在于提供一种接口数据的异常值检测方法及系统。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种接口数据的异常值检测方法，所述异常值检测方法包括：

S1、获取接口在设定历史时间范围内的历史请求量；

S2、根据所述历史请求量获取请求量特征值；

其中，所述请求量特征值是指所述接口在所述设定历史时间范围中的各个设定时间段内的请求量；

S3、采用LightGBM算法(一种机器学习算法)对所述请求量特征值进行处理，建立请求量预测模型；

S4、根据所述请求量预测模型，预测所述接口在下一个设定时间段内的请求量预测值；

S5、根据所述历史请求量和所述请求量预测值，获取所述下一个设定时间段对应的正常请求量范围；

S6、判断所述请求量预测值是否在所述正常请求量范围内，若不在，则发送报警信息。

较佳地，步骤S3具体包括：

采用LightGBM算法和Ridge算法(一种机器学习算法)对所述请求量特征值进行处理，建立请求量预测模型。

较佳地，步骤S1之后、步骤S4之前还包括：

S11、判断所述历史请求量是否为新增接口对应的请求量，若否，则继续步骤S2；若是，则继续步骤S12；

S12、根据所述新增接口的请求量获取超参数，继续步骤S13；

S13、采用LightGBM算法对所述超参数进行处理，建立所述请求量预测模型。

较佳地，步骤S12具体包括：

S121、根据所述新增接口的请求量获取超参数集合；