[发明专利]一种基于Gaia大数据分析系统的信息传输方法

说明书

一种基于Gaia大数据分析系统的信息传输方法，属于大数据环境下的数据挖掘、机器学习和应用统计等分布式信息传输领域。技术要点是：在历史统计信息中，利用数据分析工具，将数据的关键属性标注出来；利用步骤S1中标注出来的关键属性，将带有关键属性的每一条数据的关键属性调到前面；客户端将步骤S2中调整顺序之后的数据发送到服务器；服务器端接收数据时先解析前几位关键属性，如果没有关键属性，则不继续解析，如果有关键属性就继续解析。有益效果：本发明通过调整客户端传输的每条数据中的属性的顺序，使得服务器在解析数据时，减少所需要解析数据的条数，只解析需要的数据，可以大大减少所需的时间。

技术领域

本发明属于大数据环境下的数据挖掘、机器学习和应用统计等分布式信息传输领域，尤其涉及一种基于Gaia大数据分析系统的信息传输方法。

背景技术

Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据分析系统。在自适应、可伸缩的大数据存储、批流融合大数据计算、高维大规模机器学习和高时效大数据智能交互向导等大数据分析系统的几个核心层面，解决一系列关键技术问题，构建自主可控的高时效、可伸缩的新一代大数据分析系统，掌握国际领先的大数据分析系统核心技术。

该新型大数据计算系统针对批流混合任务具有全周期多尺度优化和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了基于统一计算引擎和全周期多\尺度优化的高性能批流融合大数据计算技术。该技术为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型，实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点，提供面向多作业、多任务、迭代计算、持久计算等优化策略，优化针对性更强。同时，提供执行前和执行中的全周期优化，并细分为作业级、任务级、变换级等多个尺度，以实现极速响应和海量吞吐。

Gaia是一个面向分布式数据流处理和批量处理的开源计算平台，支持分布式并行计算，包括模型并行和数据并行。当今社会中大数据计算引擎十分常见，种类繁多，近年来包括Hadoop、Spark的通用计算框架还有TensorFlow这类专用计算框架。这是由于我们对计算模型需求的多样化的结果。此外还有一些基于资源管理、支撑服务、存储服务的大数据框架。大数据和人们的生存发展息息相关。在大数据引擎支持的内容上含有批处理、流计算、机器学习以及交互式分析等多种应用。

面向大数据的数据挖掘的特有两个最重要的任务。一是实时性，如此海量的数据规模需要实时分析并迅速反馈结果。二是准确性，需要我们从海量的数据中精准提取出隐含在其中的用户需要的有价值信息，再将挖掘所得到的信息转化成有组织的知识以模型等方式表示出来，从而将分析模型应用到现实生活中提高生产效率、优化营销方案等。

因此，无论是哪种大数据计算引擎，都要求一个快速响应、也就是低延迟，生活中有很多需要实时做出反馈的问题。在数据急速增长的情况下，做出一个高吞吐、低延迟的系统至关重要。

Gaia集众多优点于一身，包括快速、可靠可扩展、完全兼容Hadoop、使用简便、表现卓越。利用基于内存的数据流，并将迭代处理算法深度集成到系统的运行时中，这样，Gaia使得系统能够以极快的速度处理数据密集型和迭代任务。Gaia还具有高可靠性和良好的可扩展性。并且能够兼容Hadoop。另外，Gaia包括基于Java的用于批量和基于流数据分析的API、优化器和具有自定义内存管理功能的分布式运行时等，因此可以完全兼容Hadoop。总而言之，Gaia具有分布式MapReduce一类平台的高效性、灵活性和扩展性，以及并行数据库查询优化方案，同时，它还支持批量和基于流的数据分析，而且提供了基于Java的API。总的来说，Gaia是一个高效的、分布式的、基于Java实现的通用大数据分析引擎。

Gaia一大重要特性就是低延迟，但是在信息传输过程中，原有的传输方法可能会浪费大量的资源。

发明内容