[发明专利]一种单机高性能批流一体数据处理系统

权利要求书

1.一种单机高性能批流一体数据处理系统，其特征在于：包括高性能批流一体数据计算模型，其中具体包括数据流图、数据摄入、数据处理和状态存储四个模块；

其中，数据流图模型：数据进行任何业务逻辑处理，都可以将处理逻辑划分成一个有向无环图，由有向无环图体现数据的流动方向和处理步骤；

数据摄入模型：该模块提供了面向不同数据源的数据读取方式；并且可以通过将目标数据划分分区，提供多线程读取的能力，提高数据摄入效率；数据摄入后将转换成内部的统一数据模型，发往数据队列等待处理；

数据处理模型：该模块负责核心的数据处理，通过以微批的形式拉取数据队列中的数据，依据数据流图依照有状态的节点和无状态节点顶端分类进行数据处理；

状态存储模型：将有状态的节点的状态数据缓存起来，下一次计算会在该状态基础上进行；状态每次写都会先写入内存，再写入磁盘；每次读都会先从内存中读取，内存命中则不会再去磁盘上读取，若内存没命中，则会从磁盘中读取。

2.根据权利要求1所述的一种单机高性能批流一体数据处理系统，其特征在于：所述数据摄入模型可以从不同的数据源读取数据，数据源包括且不限于Kafka、Mysql和Mongodb数据。

3.根据权利要求1所述的一种单机高性能批流一体数据处理系统，其特征在于：所述数据摄入模型中数据队列有大小设置，超过数据队列大小时，将停止数据摄入，等待数据队列中的数据被处理完毕。

4.根据权利要求1所述的一种单机高性能批流一体数据处理系统，其特征在于：所述数据处理模型的数据处理方法为有状态的节点将数据写入到状态存储中，无状态节点处理完继续往下游发送数据。