[发明专利]异常数据处理方法及装置

说明书

本发明提供了一种异常数据处理方法及装置，该方法应用于数据处理技术领域，所述方法包括：获取待处理数据；根据预设排序方法对所述待处理数据中的数据点进行排序；若所述数据点的排序序号小于预设阈值，则确定所述数据点为异常数据；根据预设修正方法对所述异常数据进行修正。本发明提供的异常数据处理方法及装置能够准确地检测并修正数据集中的异常数据。

技术领域

本发明属于数据处理技术领域，更具体地说，是涉及一种异常数据处理方法及装置。

背景技术

在现实中,由于人为错误或自然错误会导致产生数据异常值，在多数据源的环境下，出现数据异常并产生数据冲突的概率大大增加。如何处理这些异常值便是数据清洗所面临的一个重要课题。

在数据处理中，尤其在作函数拟合时，异常点的出现不仅会很大程度的改变函数拟合的效果，而且有时还会使得函数的梯度出现奇异梯度，很容易导致算法的终止，从而影响研究变量之间的函数关系。为了有效的避免这些异常点造成的损失，我们需要采取一定的方法对其进行处理。但在很多情况下，异常数据的检测过于依赖于数据集本身的分布，难以准确地对数据集中的异常数据进行检测和修正。

发明内容

本发明的目的在于提供一种异常数据处理方法及装置，以解决现有技术中存在的无法准确进行异常数据处理的技术问题。

本发明实施例的第一方面，提供了一种异常数据处理方法，所述方法包括：

获取待处理数据；

根据预设排序方法对所述待处理数据中的数据点进行排序；

若所述数据点的排序序号小于预设阈值，则确定所述数据点为异常数据；

根据预设修正方法对所述异常数据进行修正。

本发明实施例的第二方面，提供了一种异常数据处理装置，所述装置包括：

数据获取模块，用于获取待处理数据；

排序模块，用于根据预设排序方法对所述待处理数据中的数据点进行排序；

检测模块，用于若所述数据点的排序序号小于预设阈值，则确定所述数据点为异常数据；

修正模块，用于根据预设修正方法对所述异常数据进行修正。

本发明实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的异常数据处理方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的异常数据处理方法的步骤。

本发明提供的异常数据处理方法及装置的有益效果在于：本发明提供的异常数据处理方法及装置先通过预设排序方法对待处理数据进行排序，再根据异常数据检测要求确定预设阈值，从而根据预设阈值确定待处理数据中的异常数据并对该异常数据进行修正。由于该预设排序方法不依赖于待处理数据本身的分布，根据该预设排序方法的排序结果可以实现对待处理数据中的异常数据进准确检测，并根据检测结果进行修正。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的异常数据处理方法的流程示意图；

图2为本发明另一实施例提供的异常数据处理方法的流程示意图；