[发明专利]一种单机高性能批流一体数据处理系统

说明书

本发明公开了一种单机高性能批流一体数据处理系统，具体涉及数据计算领域，包括高性能批流一体数据计算模型，其中具体包括数据流图、数据摄入、数据处理和状态存储四个模块，其中，数据流图模型：数据进行任何业务逻辑处理，都可以将处理逻辑划分成一个有向无环图，由有向无环图体现数据的流动方向和处理步骤。本发明通过采用将数据摄入和数据处理分离的方式提升整体的处理效率，采用将任务划分成有向无环图，根据有向无环图中的节点类型，自动划分任务的方式实现批流一体数据处理功能，采用内存统一前缀大缓存结构，提高状态读写效率，数据处理时，使用微批模式提高数据计算效率，解决数据计算中批量计算和流式计算无法统一的问题。

技术领域

本发明涉及数据计算技术领域，更具体地说，本发明涉及一种单机高性能批流一体数据处理系统。

背景技术

在数据计算领域，流式计算可以即时的不断处理输入数据，输出计算结果，因其实时性被企业广泛使用。批量计算可以针对存量数据进行计算，因其结果准确性被企业广泛使用。在DT时代，任何企业都会不断产生数据，任何企业发展都离不开数据计算，一个好的数据计算系统可以帮助企业更好的发展。

企业在进行数据计算时，会同时使用流式计算和批量计算，当前比较流行的批流一体解决方案是使用Lambda架构，Lambda架构把数据计算分为实时层和离线层，实时层使用流式计算可以实时统计结果，离线层使用批量计算保障数据准确，查询数据时通过把实时层和离线层数据结合来展示最终结果。但是由于两种计算模式实现的差异性，导致使用时需要同时开发和维护两套代码，增加了开发的复杂度和运维成本。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种单机高性能批流一体数据处理系统，本发明所要解决的技术问题是：如何提供一种高性能批流一体计算系统，用于解决批量计算和流式计算无法统一的问题，从而使其适用企业内监控指标计算、BI业务分析等领域。

为实现上述目的，本发明提供如下技术方案：一种单机高性能批流一体数据处理系统，包括高性能批流一体数据计算模型，其中具体包括数据流图、数据摄入、数据处理和状态存储四个模块；

其中，数据流图模型：数据进行任何业务逻辑处理，都可以将处理逻辑划分成一个有向无环图，由有向无环图体现数据的流动方向和处理步骤；

数据摄入模型：该模块提供了面向不同数据源的数据读取方式；并且可以通过将目标数据划分分区，提供多线程读取的能力，提高数据摄入效率；数据摄入后将转换成内部的统一数据模型，发往数据队列等待处理；

数据处理模型：该模块负责核心的数据处理，通过以微批的形式拉取数据队列中的数据，依据数据流图依照有状态的节点和无状态节点顶端分类进行数据处理；

状态存储模型：将有状态的节点的状态数据缓存起来，下一次计算会在该状态基础上进行；状态每次写都会先写入内存，再写入磁盘；每次读都会先从内存中读取，内存命中则不会再去磁盘上读取，若内存没命中，则会从磁盘中读取。

在一个优选地实施方式中，所述数据摄入模型可以从不同的数据源读取数据，数据源包括且不限于Kafka、Mysql和Mongodb数据。

在一个优选地实施方式中，所述数据摄入模型中数据队列有大小设置，超过数据队列大小时，将停止数据摄入，等待数据队列中的数据被处理完毕。

在一个优选地实施方式中，所述数据处理模型的数据处理方法为有状态的节点将数据写入到状态存储中，无状态节点处理完继续往下游发送数据。

本发明的技术效果和优点：

本发明通过采用将数据摄入和数据处理分离的方式提升整体的处理效率，采用将任务划分成有向无环图，根据有向无环图中的节点类型，自动划分任务的方式实现批流一体数据处理功能，采用内存统一前缀大缓存结构，提高状态读写效率，数据处理时，使用微批模式提高数据计算效率，解决数据计算中批量计算和流式计算无法统一的问题。