[发明专利]一种大数据平台BI分析方法

说明书

本发明提出了一种大数据平台BI分析方法，通过在数据清洗中增加识别错误分类，可以去除少量分类样本或合并少量分类样本数据，从数据整体性上把握数据的整体趋势；少数分类信息作为特殊分类或少量数据类型，多个少数分类信息可以整体划归为其它类型，在构建数据模型上归纳各个数据集的其它类型，可以为宏观数据分析或整体数据分析提供更精确的分析结果；通过在数据清洗中增加中心和散布度量，当用户选取某一类数据为参照核心样本数据时，可以根据均值或中位数设置一定的数据范围，该数据范围再结合时间、其它关联数据信息整合，可以生产初步的数据挖掘算法，用户则可以根据该算法预估或推算未来的数据信息。

技术领域

本发明涉及大数据领域，尤其涉及一种大数据平台BI分析方法。

背景技术

BI分析是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，随着科技信息的发展，数据质量问题一直是数据挖掘过程中密切关注的问题。数据清洗是数据挖掘过程中最消耗资源的一步，如何对数据进行有效的清理和转换使之成为符合数据挖掘要求的数据源是影响数据挖掘准确性的关键因素。现有的数据清洗方法包括缺失值处理、异常值处理、去重处理、噪音数据处理，这些方法可以将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除，最后整理成为我们可以进一步加工、使用的数据。但是，对于数据质量要求比较高的情形，传统的数据清洗方法无法达到数据质量的要求，使得BI分析系统给出的辅助决策不准确。因此，本发明提供一种大数据平台BI分析方法，可以提高数据清洗的数据质量，进而提供更精确的分析结果。

发明内容

有鉴于此，本发明提出了一种大数据平台BI分析方法，可以提高数据清洗的数据质量，进而提供更精确的分析结果。

本发明的技术方案是这样实现的：本发明提供了一种大数据平台BI分析方法，包括以下步骤：

S1、构建数据提取组件，使用数据提取组件提取数据库或文本文档中的数据数据；

S2、根据被采集的数据分析目标和需求，创建数据模型表结构；

S3、对被采集的数据进行数据清洗和数据变换处理，其中，数据清洗包括缺失数据处理、识别错误分类、中心和散布度量、识别离群值；

S4、通过描述算法描述数据潜在的模式和趋势，使用分类算法将数据分类，使用聚类算法针对数据的相似性和差异性将一组数据分为多个类别，使用关联规则产生数据项之间的关联或者相互关系，使用估计和预测的统计算法进行估计和预测。

在以上技术方案的基础上，优选的，S1中数据提取组件包括通用关系型数据库抽取组件和通用文本抽取组件；

通用关系型数据库抽取组件的构建方法包括以下步骤：

S101、构建数据库连接配置对象；

S102、构建数据库连接操作接口；

S103、构建数据库基本信息查询接口；

S104、使用JPA技术查询数据信息；

通用文本抽取组件的构建方法包括以下步骤：

S201、构建文本连接配置对象；

S202、构建文本连接操作接口；

S203、构建文本信息读取接口。

在以上技术方案的基础上，优选的，S3中缺失数据处理具体包括以下步骤：

S301、当记录数据缺失情况下，通过插入均值或根据比例插入分类信息替换缺失值；

S302、当当前记录关联多个表数据时，统计关联的表数据信息，获取表数据信息中的关联数据类型、数据量以及各个分类的百分比，计算缺失类数据的均值范围，根据均值范围、百分比以及缺失数据的时间变量，插入缺失值。