[发明专利]大数据分析方法和系统

说明书

本申请涉及一种大数据分析方法，其特征在于，包括以下步骤：获取大数据；对获取的大数据进行预处理；对经过预处理的大数据进行机器学习，以检测异常数据；对去除异常数据的大数据进行质量评估。

技术领域

本申请涉及下一代信息网络产业技术领域，尤其涉及一种大数据分析方法和系统。

背景技术

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V，数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。

大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。维克托·迈尔-舍恩伯格(Viktor Mayer-Sch鰊berger)的《大数据时代：生活、工作与思维的大变革》一书认为，未来，数据会成为有价值的资产。假以时日，它会大摇大摆地进入资产负债表里。

随着大数据时代的来临，数据究竟是否具有价值，是成为垃圾还是宝藏，最重要是所要分析挖掘的数据是否是高质量的，因此大数据分析也应运而生。

发明内容

为克服相关技术中存在的问题，本申请提供一种大数据分析方法和系统。

根据本申请实施例，提供了一种大数据分析方法，其特征在于，包括以下步骤：

获取大数据；

对获取的大数据进行预处理；

对经过预处理的大数据进行机器学习，以检测异常数据；

对去除异常数据的大数据进行质量评估。

优选的，对去除异常数据的大数据进行质量评估包括：

其中，假定项目具有k个属性，Rmd(i,j)是对项目a_i推荐项目a_j的推荐度，w_t是属性t的权重。

优选的，对去除异常数据的大数据进行质量评估包括：

其中，S_(p)j是对用户p的项目a_j的打分，TW(p,j)是用户p的项目a_j的时间权重，u_j是用户p的项目a_j的点赞权重，p_j是用户p的项目a_j的批评权重。

优选的，对获取的大数据进行预处理包括：

对获取的大数据进行数据转换；

对转换后的大数据进行数据清洗。

优选的，对获取的大数据进行数据转换包括：

将所获取大数据中字符串类型、字符类型以及布尔值类型的数据转换为数字类型的数据。

优选的，采用预设的逻辑规则清洗有问题的数据。

优选的，对经过预处理的大数据进行机器学习包括：

采用深度学习网络模型和统计过程控制模型，从经过预处理的大数据中发现异常数据。

优选的，该方法还包括：对获取的大数据进行数据完整性检测。

优选的，对获取的大数据进行数据完整性检测包括：

获取系统数据传输/交换的数据一致性需求评级；

根据获取的数据一致性需求评级建立检测样本池；