[发明专利]数据流转系统、数据流转方法、电子设备和存储介质

说明书

本发明提供一种数据流转系统、数据流转方法、电子设备和存储介质，其中系统包括：可扩展的数据处理模块，采集和过滤数据，并输出过滤后的数据；可配置的调度模块，对数据处理模块各层的数据进行调度；可配置的流控模块，对数据处理模块各层的数据流量进行管理；接口层，提供至少供数据处理模块扩展的扩展接口；以及配置模块，提供至少供调度模块和流控模块配置的配置接口。本发明通过扩展接口对数据处理模块进行扩展，方便对接不同数据源；通过配置接口对调度模块和流控模块进行配置，实现对数据流转的动态管理；各个模块之间通过接口通信，相互独立，灵活高效地实现海量数据的流转处理。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种数据流转系统、数据流转方法、电子设备和存储介质。

背景技术

大型系统，如分布式系统中，总是会有大量数据需要收集、过滤、并发送到下游服务处理。如何有效收集数据并高效输送给下游，是处理海量数据时必须考虑的问题。

现有的数据流转工具或多或少有些缺陷。有些性能优秀但是目标单一，比如主要是为了解决数据库数据之间的同步。还有些目标广泛，但是因为设计原因，对性能有所牺牲。

例如典型地，大型系统中日志数据往往是海量的。针对日志数据常见的数据流转工具有Flume和Logstash。Flume提供日志同步服务，为了避免数据异常，对性能做了很大的牺牲；如果希望提高性能就需要启动大量Flume节点，无形之中增加运维成本和管理成本，也给后端的日志存储带来新的问题。而Logstash由于语言特性，在扩展、JVM微调的时候都面临种种困难。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种数据流转系统、数据流转方法、电子设备和存储介质，解决现有技术中数据流转工具可扩展性差，无法有效控制节点数、在数据流转的调度和管理上不够灵活的问题。

根据本发明的一个方面，提供一种数据流转系统，包括：可扩展的数据处理模块，所述数据处理模块采集和过滤数据，并输出过滤后的数据；可配置的调度模块，所述数据处理模块通过接口与所述调度模块通信，所述调度模块对所述数据处理模块各层的数据进行调度；可配置的流控模块，所述数据处理模块通过接口与所述流控模块通信，所述流控模块对所述数据处理模块各层的数据流量进行管理；接口层，提供至少供所述数据处理模块扩展的扩展接口；以及配置模块，提供至少供所述调度模块和流控模块配置的配置接口。

优选地，上述的数据流转系统中，所述数据处理模块包括：数据采集层，包括一个或多个采集器，用于采集数据；过滤层，包括一个或多个过滤器，对采集的数据进行过滤；数据写入层，包括一个或多个输出接口，用于输出过滤后的数据；所述数据处理模块的各层之间通过抽象接口通信。

优选地，上述的数据流转系统中，所述数据处理模块还包括：一个或多个缓冲层，位于所述数据采集层与所述过滤层之间，和/或，位于所述过滤层与所述数据写入层之间；所述数据处理模块各层之间通过所述缓冲层进行数据的异步流转。

优选地，上述的数据流转系统中，所述数据采集层具有采集进度反馈接口，用于至少向所述调度模块和所述流控模块提交数据采集进度。

优选地，上述的数据流转系统中，所述采集进度反馈接口包括同步反馈接口和异步反馈接口。

优选地，上述的数据流转系统中，所述调度模块执行：调度所述过滤层的一个或多个过滤器，控制数据从所述数据采集层分别流经经调度的过滤器；以及控制过滤后的数据从所述数据写入层输出。

优选地，上述的数据流转系统中，所述调度模块还执行：对流转的具有相同行为的数据添加唯一的标识ID。

优选地，上述的数据流转系统中，所述流控模块对所述数据处理模块各层的数据读取数量和数据读取频次进行管理。