[发明专利]一种大数据的处理方法、系统

摘要

本发明适用于信息处理技术领域，提供了一种大数据的处理方法、系统，所述方法包括实时处理系统根据预置的配置文件获取异构数据源的数据结构信息并发送所述异构数据源的数据结构信息至批处理系统，所述批处理系统根据所述异构数据源的数据结构信息建立元数据表；实时处理系统接收源数据流，对所述源数据流进行实时处理并写入实时处理结果至实时处理系统的数据库中，同时发送实时处理结果至批处理系统，以由批处理系统将所述实时处理结果存储在元数据表中；批处理系统接收批处理作业指令，根据所述批处理作业指令执行相应的批处理任务，并展示作业结果。本发明，避免了手工进行数据预处理的操作，减少了数据处理前期的预处理时间成本。

主权项

一种大数据的处理方法，其特征在于，所述方法包括：实时处理系统解析预置的配置文件，获取异构数据源的数据结构信息；实时处理系统发送所述异构数据源的数据结构信息至批处理系统，以由所述批处理系统根据所述异构数据源的数据结构信息建立元数据表；实时处理系统接收源数据流，对所述源数据流进行实时处理；实时处理系统写入实时处理结果至实时处理系统的数据库中；实时处理系统发送实时处理结果至批处理系统，以由批处理系统将所述实时处理结果中包括的数据进行分块，存储在元数据表中；当满足指定条件时，实时处理系统推送批处理作业指令至批处理系统；批处理系统接收所述批处理作业指令；批处理系统根据所述批处理作业指令执行相应的批处理任务，并展示作业结果。