[发明专利]一种大数据平台BI分析方法

权利要求书

1.一种大数据平台BI分析方法，其特征在于：包括以下步骤：

S1、构建数据提取组件，使用数据提取组件提取数据库或文本文档中的数据数据；

S2、根据被采集的数据分析目标和需求，创建数据模型表结构；

S3、对被采集的数据进行数据清洗和数据变换处理，其中，数据清洗包括缺失数据处理、识别错误分类、中心和散布度量、识别离群值；

所述S3中缺失数据处理具体包括以下步骤：

S301、当记录数据缺失情况下，通过插入均值或根据比例插入分类信息替换缺失值；

S302、当当前记录关联多个表数据时，统计关联的表数据信息，获取表数据信息中的关联数据类型、数据量以及各个分类的百分比，计算缺失类数据的均值范围，根据均值范围、百分比以及缺失数据的时间变量，插入缺失值；

所述识别错误分类包括以下步骤：

S401、通过classificationUtil分类识别方法识别出分类信息；

S402、根据各个数据表中数据样本引用分类信息，分别计算各类别信息在数据中的引用情况，即可获取整体数据中各个分类的数据引用信息；

S403、对于各个数据样本总体数据总数，各个分类引用数据低于1%的情况下，划归为少数分类信息；

所述classificationUtil分类识别方法包括以下步骤：

S501、获取样表全部数据信息；

S502、采用hashMap键值对方式计算每列数据中的数据，并自动在hashMap集合中计数加一，这样在全部数据计算后得到各列数据的重复值；

S503、当重复值低于30，即可获取高频短数据样本中的分类数据信息，并规整为分类信息；

S4、通过描述算法描述数据潜在的模式和趋势，使用分类算法将数据分类，使用聚类算法针对数据的相似性和差异性将一组数据分为多个类别，使用关联规则产生数据项之间的关联或者相互关系，使用估计和预测的统计算法进行估计和预测。

2.如权利要求1所述的一种大数据平台BI分析方法，其特征在于：S1中数据提取组件包括通用关系型数据库抽取组件和通用文本抽取组件；

所述通用关系型数据库抽取组件的构建方法包括以下步骤：

S101、构建数据库连接配置对象；

S102、构建数据库连接操作接口；

S103、构建数据库基本信息查询接口；

S104、使用JPA技术查询数据信息；

所述通用文本抽取组件的构建方法包括以下步骤：

S201、构建文本连接配置对象；

S202、构建文本连接操作接口；

S203、构建文本信息读取接口。

3.如权利要求1所述的一种大数据平台BI分析方法，其特征在于：所述中心和散布度量包括以下步骤：

S701、获取表单全部数据信息，根据数据信息中数字类型的字段数据，计算该字段数据的数据值范围；

S702、根据数据值范围，不同数据重复出现次数，利用hashMap对象获取不同值重复出现次数，再根据获取的值的总数量，分段计算各字段数据的重复次数；

S703、根据字段数据的重复次数，获取主要中心点和度量信息，即均值数、中位数；

S704、以均值数及中位数为标准，统计同类数据样本数据时，根据时间、均值、数据范围条件，推导用户兴趣点。

4.如权利要求1所述的一种大数据平台BI分析方法，其特征在于：所述S3中数据变换包括min-max规范化和Z-score标准化；

所述min-max规范化的工作方式为：观测字段值与最小值的差值，并通过极差来缩放此差值；

所述Z-score标准化的工作方式为：捕获字段值和字段均值间的差异，并通过字段值的标准差SD缩放此差异。

5.如权利要求1所述的一种大数据平台BI分析方法，其特征在于：所述S4中估计和预测的统计算法包括点估计方法、区间估计方法和假设校验方法。