[发明专利]一种基于云计算的大数据统一分析处理方法

摘要

本发明涉及一种基于云计算的大数据统一分析处理方法，该方法包括基于云计算技术构建高可扩展的海量结构化、非结构化和半结构化数据的分布式存储平台；在云计算平台上实现海量异构数据的分布式并行处理，解析异构数据的查询分析请求，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；集成结构化数据查询分析接口与非结构化数据查询分析接口，实现异构数据的并行分析处理，提供统一数据访问接口；基于云服务技术为大数据应用提供结构化数据服务和非结构化数据服务。具有克服了大数据分析处理的复杂性和挑战性，满足大数据处理的规模不断增长和实时性需求等优点。

主权项

一种基于云计算的大数据统一分析处理方法，其特征在于，包括以下步骤：(1)基于云计算技术构建高可扩展的海量结构化、非结构化和半结构化数据的分布式存储平台；(2)基于云计算实现并行数据处理，在高可扩展的云计算平台上实现海量结构化、半结构化和非结构化数据的分布式并行分析处理，对异构数据的查询分析请求进行解析并制定数据处理计算的优化分布调度方式，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现海量数据的并行分析处理；其实施的总体结构包括以下层次：1)数据服务提供层：利用基于分布式内存缓存的云数据服务提高数据访问的性能，为OLTP类型的大数据应用提供数据服务；2)统一访问接口层：提供类SQL查询分析接口和JDBC/ODBC驱动接口，支持批处理和实时查询的统一接口；3)分布并行调度层：解析大数据查询分析请求，在分布式存储节点上调度和协调分布式并行数据查询分析；4)查询分析执行引擎层：在本地的HDFS或者HBase上执行查询分析处理操作，实现并行分布式数据处理；5)分布式数据存储层：采用HBase和HDFS实现海量异构数据的分布式存储；或者，其实施的总体结构包括以下层次：1)数据服务提供层：为OLAP类型的大数据应用提供云数据服务；2)集成访问接口层：提供SQL和MapReduce查询分析接口，集成结构化数据查询分析接口和非结构化数据分析处理的编程接口；3)Hadoop MapReduce层：解析大数据查询分析请求，根据查询请求的类型分别调度到Hadoop上、MPP关系数据库节点上实现并行数据分析处理；4)集成查询分析执行引擎层：对结构化数据的查询分析请求，在MPP关系数据库的各节点上并行执行结构化查询分析操作；对非结构化和半结构化数据的查询分析请求，在Hadoop数据节点DataNode上执行Map和Reduce函数，实现数据的并行分析处理；5)分布式数据存储层：使用MPP关系数据库实现海量结构化数据存储，使用Hadoop实现海量非结构化和半结构化数据的分布式存储；(3)集成结构化数据查询分析接口与非结构化数据查询分析接口，进行异构数据的并行分析处理，提供统一数据访问接口；(4)基于云服务技术为大数据应用提供结构化数据服务和非结构化数据服务。