[发明专利]一种基于大数据分布式编程框架的大数据预统系统及方法

摘要

本发明属于数据处理领域，尤其涉及一种基于大数据分布式编程框架的大数据预统系统及方法，旨在解决现有的大数据预统系统处理效率低的问题。本发明对Spark Streaming进行组件功能开发扩充，使得SQL语句解析后可以在Spark Streaming中运行，并结合了Spark Streaming的对数据的批处理和数据流处理优势，最终采用了Spark Streaming技术和SQL语句相结合的方式对大数据进行预统处理，使得整个系统对大数据的处理达到非常高的效率。

主权项

1.一种基于大数据分布式编程框架的大数据预统系统，其特征在于，所述系统包括数据处理模块，所述数据处理模块包括解析模块、批处理模块、数据流转换模块、数据转换模块以及存储模块；所述解析模块，用于获取结构化查询语言语句，并通过基于大数据分布式编程框架的结构化查询语言技术对所述结构化查询语言语句进行解析，得到可以在实时计算框架中运行的结构化查询语言语句解析结果；所述批处理模块，用于基于实时计算框架技术，根据所述结构化查询语言语句解析结果配置预统规则，根据所述预统规则中的批规则对待处理数据进行批处理，以将所述待处理数据分解成若干段离散数据流；所述数据流转换模块，用于将每一段所述离散数据流转换成弹性分布式数据集；所述数据转换模块，用于根据实时计算框架技术中对离散数据流的转换操作方法，对所述弹性分布式数据集进行转换操作，得到中间结果数据；所述存储模块，用于将所述中间结果数据按照所述预统规则进行叠加，得到可查询数据，并将所述可查询数据存入关系数据库中。