[发明专利]流数据动态处理方法、装置、电子设备及存储介质

说明书

本发明涉及流数据处理技术领域，具体提供一种流数据动态处理方法、装置、电子设备及存储介质，旨在解决通过硬编程方式实现的流处理方法的工作量繁琐，同时针对不同任务的代码紧耦合，一旦针对某一任务的代码编程出现错误，则会影响其它任务对应的代码的执行的技术问题。为此目的，本发明的流数据动态处理方法包括：根据用户需求生成配置任务，并将配置任务存储在数据库中；根据配置任务启动流处理线程，以动态生成流处理任务；由流处理任务获取流数据，并对流数据进行处理；对处理后的流数据进行开窗聚合，得到指标数据。如此，提高了流数据处理效率。

技术领域

本发明涉及流数据处理技术领域，具体提供一种流数据动态处理方法、装置、电子设备及存储介质。

背景技术

APM(ApplicationPerformance Management)是一种应用性能监控工具，通过汇聚业务系统各处理环节的实时数据(例如图1中的日志、链路数据、探针采集的业务类数据)，分析业务系统各事务处理的交易路径和处理时间，实现对应用的全链路性能监测。其中，首选需要对上述各种数据进行采集，之后进行流处理生成各种健康度指标。

现有的流处理方法通过硬编程的方式实现，例如对于50个任务，需要重复50个类似黄色高亮的程序代码，下例中示例性的仅呈现了2个任务，具体是对于日志分析的关键字统计任务和对于调用链的请求量统计任务。

然而，上述通过硬编程方式实现的流处理方法，工作量繁琐，同时针对不同任务的代码紧耦合，一旦针对某一任务的代码编程出现错误，则会影响其它任务对应的代码的执行，导致流处理效率较低。

相应地，本领域需要一种新的流数据动态处理方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决上述技术问题。本发明提供了一种流数据动态处理方法、装置、电子设备及存储介质。

在第一方面，本发明提供一种流数据动态处理方法，所述方法包括：根据用户需求生成配置任务，并将所述配置任务存储在数据库中；根据所述配置任务启动流处理线程，以动态生成流处理任务；由所述流处理任务获取流数据，并对所述流数据进行处理；对处理后的流数据进行开窗聚合，得到指标数据。

在一个实施方式中，根据用户需求生成配置任务，包括：获取与所述用户需求对应的任务模板；在所述任务模板中添加相应的任务参数，得到所述配置任务，其中所述配置任务包括任务名称和流处理开窗参数。

在一个实施方式中，所述用户需求包括日志分析；所述根据用户需求生成配置任务，包括：获取与所述日志分析对应的任务模板；在所述任务模板中添加相应的任务参数，得到所述配置任务，其中所述配置任务中的任务名称为关键字统计和应用产生的日志量，所述流处理开窗参数包括开窗类型，所述开窗类型为滑动窗口或滚动窗口中的任意一种。

在一个实施方式中，所述用户需求包括调用链相关分析；所述根据用户需求生成配置任务，包括：获取与所述调用链相关分析对应的任务模板；在所述任务模板中添加相应的任务参数，得到所述配置任务，其中所述配置任务中的任务名称为请求量、处理耗时、失败原因、调用方请求次数和耗时统计中的至少一种，所述流处理开窗参数包括开窗类型，所述开窗类型为滑动窗口或滚动窗口中的任意一种。

在一个实施方式中，根据所述配置任务启动流处理线程，以动态生成流处理任务，包括：在启动Web容器时使用dynamic函数调用所述数据库中的配置任务，其中所述函数包括表征任务名称的变量；根据所调用的配置任务中的任务名称和流处理开窗参数对相应的流处理线程进行初始化，动态生成流处理任务。

在一个实施方式中，由所述流处理任务获取流数据，包括：所述流处理任务从至少一个消息队列中读取流数据，其中，所述流处理数据包括日志、链路数据和探针采集数据中的至少一种业务数据。