[发明专利]一种实现混合数据分析的大数据处理方法

权利要求书

1.一种实现混合数据分析的大数据处理方法，包括数据抽取与收集单元、数据预处理单元、数据存储单元、数据处理与分析单元、数据可视化单元，其特征在于：所述数据抽取与收集单元包括大数据智能感知数据库和基础支撑数据库，所述数据预处理单元包括数据辨析模块，数据抽取模块和数据清洗模块，所述数据清洗模块包括遗漏数据处理子模块、噪声数据处理子模块和不一致数据处理子模块，所述数据存储单元包括结构化数据存储模块，半结构和非结构化数据存储模块和结构化和非结构化混合数据存储模块。

2.根据权利要求1所述的一种实现混合数据分析的大数据处理方法，该方法包括以下步骤，

S1：首先，利用数据抽取与收集单元中大数据智能感知数据库对发自客户端的海量信息进行抽取和收集，通过基础支撑数据库为大数据服务平台提供所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境，客户端为Web、App或者传感器；

S2：其次，通过数据预处理对来自前端的数据进行数据辨析、数据抽取和数据清洗，清楚异常数据，然后再将数据导入到一个集中的大型分布式数据库或者分布式存储集群；

S3：然后，通过数据存储单元将预处理结果按照一定的标准统一存储；

S4：然后，利用数据处理与分析单元中的分布式数据库和分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求；

S5：最后，通过数据可视化单元使用可视化技术分析和分类汇总后的处理结果通过图形方式直观地呈现给用户。

3.根据权利要求1所述的一种实现混合数据分析的大数据处理方法，其特征在于：所述大数据智能感知数据库能够对客户端的结构化、半结构化、非结构化的海量数据进行智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理，并且用户可以通过大数据智能感知数据库来进行简单的查询和处理工作，基础支撑数据库能够提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。

4.根据权利要求1所述的一种实现混合数据分析的大数据处理方法，其特征在于：所述数据抽取模块可以将多种结构和类型的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

5.根据权利要求1所述的一种实现混合数据分析的大数据处理方法，其特征在于：所述数据清洗模块包括遗漏数据处理子模块、噪声数据处理子模块和不一致数据处理子模块，所述遗漏数据子处理是利用同类别均值进行遗漏值填补的，所述噪声数据处理子模块是通过聚类分析方法帮助发现异常数据，相似或相邻近的数据聚合在一起形成了各个聚类集合，位于聚类集合之外的数据对象被认为是异常数据然后自动清除。

6.根据权利要求1所述的一种实现混合数据分析的大数据处理方法，其特征在于：所述结构化数据存储模块，半结构和非结构化数据存储模块以及结构化和非结构化混合数据存储模块能够分别对结构化海量数据，半结构和非结构化组合海量数据和结构化和非结构化组合的海量数据分别存储。

7.根据权利要求1所述的一种实现混合数据分析的大数据处理方法，其特征在于：所述数据处理与分析单元是利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。