[发明专利]数据流转系统、数据流转方法、电子设备和存储介质

权利要求书

1.一种数据流转系统，其特征在于，包括：

可扩展的数据处理模块，包括：数据采集层，包括一个或多个采集器，用于采集数据；过滤层，包括一个或多个过滤器，用于对采集的数据进行过滤；数据写入层，包括一个或多个输出接口，用于输出过滤后的数据；所述数据处理模块的各层之间通过抽象接口通信；

可配置的调度模块，所述数据处理模块通过接口与所述调度模块通信，所述调度模块对所述数据处理模块各层的资源进行调度，包括：控制所述数据采集层的一个或多个采集器采集数据；调度所述过滤层的一个或多个过滤器，对经调度的过滤器进行编排，以使数据以流的形式分别流经经调度的过滤器进行过滤，控制过滤后的数据从所述数据写入层的一个或多个输出接口输出；

可配置的流控模块，所述数据处理模块通过接口与所述流控模块通信，所述流控模块对所述数据处理模块的数据读取数量和数据读取频次进行配置，以对所述数据处理模块各层的数据读取流量和数据读取频次进行管理；

其中，所述数据采集层具有采集进度反馈接口，用于至少向所述调度模块和所述流控模块提交数据采集进度；

接口层，提供至少供所述数据处理模块扩展的扩展接口；以及

配置模块，提供至少供所述调度模块和流控模块配置的配置接口。

2.如权利要求1所述的数据流转系统，其特征在于，所述数据处理模块还包括：

一个或多个缓冲层，位于所述数据采集层与所述过滤层之间，和/或，位于所述过滤层与所述数据写入层之间；

所述数据处理模块各层之间通过所述缓冲层进行数据的异步流转。

3.如权利要求1所述的数据流转系统，其特征在于，所述采集进度反馈接口包括同步反馈接口和异步反馈接口。

4.如权利要求1所述的数据流转系统，其特征在于，所述调度模块还执行：

对流转的具有相同行为的数据添加唯一的标识ID。

5.如权利要求1所述的数据流转系统，其特征在于，还包括：

可配置的异常检测模块，用于监控流转的数据。

6.一种数据流转方法，其特征在于，所述数据流转方法由权利要求1-5任一项所述的数据流转系统执行，包括：

所述数据处理模块采集和过滤数据，并输出过滤后的数据；

所述调度模块通过接口与所述数据处理模块通信，对所述数据处理模块各层的数据进行调度；

所述流控模块通过接口与所述数据处理模块通信，对所述数据处理模块各层的数据流量进行管理；

所述数据处理模块通过扩展接口扩展处理一个或多个数据源；

所述调度模块通过配置接口配置数据的调度模式；以及

所述流控模块通过配置接口配置数据流量的管理模式。

7.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求6所述的数据流转方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求6所述的数据流转方法的步骤。