[发明专利]一种修复异常数据的方法、装置、电子设备及存储介质

说明书

本公开实施例涉数据处理技术领域，具体涉及一种修复异常数据的方法、装置、电子设备及非暂态计算机可读存储介质。本公开的至少一个实施例中，利用斜率信息来修复实时获取的数据，具体地，利用数据上下文之间的关联性，可确定存储的数据集中相邻数据的斜率信息，并在获取到新数据后，可确定数据集中与新数据相邻的第二数据，进而确定新数据相对于第二数据的变化量，从而根据变化量来判断新数据是否异常，若异常，则基于第二数据和斜率信息，修复新数据，解决现有技术不支持实时数据异常处理的问题。

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种修复异常数据的方法、装置、电子设备及非暂态计算机可读存储介质。

背景技术

近年来，随着信息技术的发展，各类信息的数据量不断增长，如何合理利用海量的大数据已经成为各行业研究的重点。在大数据统计过程中，会将异常数据统计在内。异常数据例如离群点数据。离群点数据指一个时间序列中，远离序列的一般水平的极端大值和极端小值。异常数据的存在不可避免地影响数据处理和分析的结果。

现有技术中主要通过数据拟合的方法来修复异常数据，但是需要预先获取到所有的数据来进行拟合，不支持实时数据异常处理。上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。

发明内容

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种修复异常数据的方法、装置、电子设备及非暂态计算机可读存储介质。

第一方面，本公开实施例提出一种修复异常数据的方法，所述方法包括：

从数据集中获取第一数据和与所述第一数据相邻的第二数据；

确定所述第一数据相对于所述第二数据的变化量；

基于所述变化量确定所述第一数据是否为异常数据；

若所述第一数据为异常数据，则基于所述第二数据和所述数据集中相邻数据的斜率信息，修复所述第一数据。

第二方面，本公开实施例还提出一种修复异常数据的装置，所述装置包括：

数据获取单元，用于从数据集中获取第一数据和与所述第一数据相邻的第二数据；

变化量确定单元，用于确定所述第一数据相对于所述第二数据的变化量；

异常判断单元，用于基于所述变化量确定所述第一数据是否为异常数据；

异常修复单元，用于在所述第一数据为异常数据时，基于所述第二数据和所述数据集中相邻数据的斜率信息，修复所述第一数据。

第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述修复异常数据的方法的步骤。

第四方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面所述修复异常数据的方法的步骤。

可见，本公开的至少一个实施例中，利用斜率信息来修复实时获取的数据，具体地，利用数据上下文之间的关联性，可确定存储的数据集中相邻数据的斜率信息，并在获取到新数据后，可确定数据集中与新数据相邻的第二数据，进而确定新数据相对于第二数据的变化量，从而根据变化量来判断新数据是否异常，若异常，则基于第二数据和斜率信息，修复新数据，解决现有技术不支持实时数据异常处理的问题。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是一种示例性应用场景图；