[发明专利]处理流式数据的开发方法、装置和计算机设备

说明书

本申请涉及一种处理流式数据的开发方法、装置、计算机设备和存储介质。所述方法包括：通过在终端上显示流式数据处理逻辑的配置界面；终端还可以响应于针对目标流程组件的标识的选择操作，确定目标流程组件，并在组装区域显示目标流程组件；根据目标流程组件，得到流式数据处理逻辑。可以解决在流式数据处理过程中遇到的计算引擎多样性、数据交互复杂性、技术能力的高门槛等问题，可以对各项数据服务配置和流程进行统一管理，同时支持对外提供开发定制化数据服务组件等功能，得到的流式数据处理逻辑可以重新定义流式作业功能输出的范式，提供标准化、可复用的流式处理组件集合，还可以为实时流式数据处理组件的开发、发布提供一站式服务平台。

技术领域

本申请涉及计算机技术领域，特别是涉及一种处理流式数据的开发方法、装置和计算机设备。

背景技术

在网络安全领域，将各类业务系统产生的可快速到达、可持续生成、可无限增长的数据序列称为流式数据。将处理流式数据的业务系统称为流式处理系统。

相关技术中，流式处理系统会选用多样且繁杂的计算工具，按照不同的业务逻辑顺序将不同数据流整合到一起，最后生成报表或数据产品。系统间通常选择批量文件、联机调用等方式进行数据信息的传递，涉及数据交互的双方接入系统通过填写各类交换平台的申请材料，各自完成交换数据作业的开发任务，再通过人工方式部署到测试环境；接入系统又需要在打包平台完成开发环境的打包，再通知交换平台，完成数据联调的测试工作；这些平台的数据作业都是相互关联，每个平台又有自己的开发测试规范，就会导致一些复杂的数据作业开发测试过程需要消耗大量资源。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低资源消耗的处理流式数据的开发方法、装置和计算机设备。

一种处理流式数据的开发方法，所述方法包括：

显示流式数据处理逻辑的配置界面，所述配置界面包括流程组件的选择区域以及流程组件的组装区域，所述选择区域包括至少一个流程组件的标识；

响应于针对目标流程组件的标识的选择操作，确定目标流程组件，并在所述组装区域显示所述目标流程组件；

根据所述目标流程组件，得到流式数据处理逻辑。

在其中一个实施例中，所述流程组件包括多个输入组件、多个处理组件以及多个输出组件；所述响应于针对目标流程组件的标识的选择操作，确定目标流程组件，包括：

响应于针对目标输入组件的标识的选择操作，确定目标输入组件；

响应于针对目标处理组件的标识的选择操作，确定目标处理组件；

响应于针对目标输出组件的标识的选择操作，确定目标输出组件。

在其中一个实施例中，所述根据所述目标流程组件，得到流式数据处理逻辑，包括：

根据所述目标输入组件、所述目标处理组件、所述目标输出组件以及各目标流程组件之间的连接顺序，得到流式数据处理逻辑。

在其中一个实施例中，在所述根据所述目标流程组件，得到流式数据处理逻辑的步骤之后，所述方法还包括：

响应于用户的流式数据处理逻辑的执行操作，获取流式数据，并对所述流式数据进行处理，得到流式数据处理结果；

通过异步消息的形式，传输所述流式数据处理结果。

在其中一个实施例中，所述配置界面还包括运行信息显示区域；

所述方法还包括：

响应于用户对所述目标流程组件的选择操作，确定所述目标流程组件的运行信息，并在所述运行信息显示区域显示所述运行信息。