[发明专利]一种工业大数据的异常数据过滤方法及装置

说明书

本发明公开了一种工业大数据的异常数据过滤方法及装置，方法包括：预先建立参量词条表；获取工业大数据，并记为第一数据；根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；将剔除异常数据的中间数据表中的数据复制回第一数据中。装置包括：存储器、获取模块、搜索模块、筛选模块和复制模块。本发明主要用于大数据技术领域。

技术领域

本发明涉及大数据技术领域，特别涉及一种工业大数据的异常数据过滤方法及装置。

背景技术

在工业生产中，会产生海量的工业大数据，其中大部分的数据都是无用数据，其中包括了数据噪声、错误数据等异常数据，这些数据基本上都是无用数据，这些无用数据如果不及时识别并去除，则会在应用工业大数据时，造成一定的影响，比如在利用工业大数据进行训练神经网络或者深度学习时，则会训练和学习造成很大的影响。而且，在对工业大数据存储时，如何这些数据不剔除，则会浪费掉宝贵的存储资源。

发明内容

本发明目的在于提供一种工业大数据的异常数据过滤方法及装置，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为解决上述技术问题所采用的技术方案：一方面，一种工业大数据的异常数据过滤方法，包括：

预先建立参量词条表；

获取工业大数据，并记为第一数据；

根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；

通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；

将剔除异常数据的中间数据表中的数据复制回第一数据中。

通过预先建立参量词条表，通过参量词条表将容易产生异常数据的参量及其对应的数据挑选出来，并根据预先设置的参量条件，将挑选出来的数据进行筛选，剔除异常数据。从而实现对工业大数据的异常数据的过滤。

进一步，所述词条参量包括但不限于：温度、湿度、故障率、合格率、生产速度、生产效率。

进一步，当中间数据表中的数据复制回第一数据中后，对第一数据进行压缩处理。通过压缩处理，降低第一数据的数据量，从而方便存储。

进一步，在对第一数据进行压缩处理前，需要对第一数据通过B+树规范化为树形结构。通过将工业大数据规范化后，方便对数据进行查询，同时也可以方便对数据进行压缩。通过对工业大数据进行压缩处理，进一步节约存储空间。

进一步，所述通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据的方法具体为：通过将参量条件定义为搜索条件，通过二分搜索算法对中间数据表中的数据进行搜索，将满足搜索条件的数据剔除。

另一方面，一种工业大数据的异常数据过滤装置，包括：

存储器，用于存储预先建立的参量词条表；

获取模块，用于获取工业大数据，并记为第一数据；

搜索模块，用于根据参量词条表，对第一数据进行搜索，将符合参量词条表中词条参量的数据挑选并剪切到中间数据表中，并根据所述词条参量做好分类；

筛选模块，用于通过预先设置的参量条件对中间数据表中的数据进行筛选，剔除异常数据；

复制模块，用于将剔除异常数据的中间数据表中的数据复制回第一数据中。

进一步，所述筛选模块内设有二分搜索算法。