[发明专利]一种实现混合数据分析的大数据处理方法

说明书

本发明公开了一种实现混合数据分析的大数据处理方法，通过在数据预处理单元中设置数据清洗模块，数据清洗模块又包括遗漏数据处理、噪声数据处理和不一致数据处理三个不同子模块，遗漏数据处理子模块基于同类别均值进行遗漏值填补，噪声数据处理子模块可通过聚类分析方法帮助发现异常数据，不一致数据处理子模块能够自动查出数据库中岀现记录内容不一致的数据，通过上述数据清洗预处理，能够将混合数据中的大多数异常数据清洗掉，从而为后续大数据处理和分析数据内容提供可靠数据来源，提高数据处理的准确度，提高用户使用体验以及为企业经营决策提供更准确和更可靠的参照信息。

技术领域

本发明涉及大数据技术领域，具体是一种实现混合数据分析的大数据处理方法。

背景技术

随着信息技术的飞速发展,数据成为了最重要的生产资料和业务升级依据，对数据的分析与处理成为目前研究的重点,数据挖掘技术更是成为了重中之重，大数据技术是能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度，大数据时代的到来使得企业业务数据化水平得到了极大的提升，在这个由物联网，社交媒体，边缘计算以及越来越多的计算能力(如量子计算)支持的数字时代，数据是众多企业最有价值的资产之一，正确或不正确的数据管理将对企业的成功产生巨大影响，在企业运行过程中，特别是互联网企业运行过程中常常需要处理各种数据，传统的方法在对混合数据进行处理时，混合数据中常常存在许多的不完全的、有噪声的、不一致的的数据，这些数据在现有的方法下未能被有效清洗处理，导致现有的混合数据处理结果准确性较差，影响用户体验，且为企业后续的一系列决策带来不利影响，鉴于此，有必要发明一种能够解决上述问题的新型混合数据分析的大数据处理方法。

发明内容

本发明的目的在于提供一种实现混合数据分析的大数据处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种实现混合数据分析的大数据处理方法，包括数据抽取与收集单元、数据预处理单元、数据存储单元、数据处理与分析单元、数据可视化单元，所述数据抽取与收集单元包括大数据智能感知数据库和基础支撑数据库，所述数据预处理单元包括数据辨析模块，数据抽取模块和数据清洗模块，所述数据清洗模块包括遗漏数据处理子模块、噪声数据处理子模块和不一致数据处理子模块，所述数据存储单元包括结构化数据存储模块，半结构和非结构化数据存储模块和结构化和非结构化混合数据存储模块。

作为本发明进一步的方案：该方法包括以下步骤，

S1：首先，利用数据抽取与收集单元中大数据智能感知数据库对发自客户端的海量信息进行抽取和收集，通过基础支撑数据库为大数据服务平台提供所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境，客户端为Web、App或者传感器；

S2：其次，通过数据预处理对来自前端的数据进行数据辨析、数据抽取和数据清洗，清楚异常数据，然后再将数据导入到一个集中的大型分布式数据库或者分布式存储集群；

S3：然后，通过数据存储单元将预处理结果按照一定的标准统一存储；

S4：然后，利用数据处理与分析单元中的分布式数据库和分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求；

S5：最后，通过数据可视化单元使用可视化技术分析和分类汇总后的处理结果通过图形方式直观地呈现给用户

作为本发明再进一步的方案：所述大数据智能感知数据库能够对客户端的结构化、半结构化、非结构化的海量数据进行智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理，并且用户可以通过大数据智能感知数据库来进行简单的查询和处理工作，基础支撑数据库能够提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境