[发明专利]数据获取系统的构建方法及装置

说明书

本发明提供一种数据获取系统的构建方法及装置，该方法包括：响应于用户发送的用于构建数据获取系统的构建请求，确定与所述构建请求对应的采集处理模块的模块信息和模块互连信息，抽象出数据获取系统中包含的各种工作流；确定每种工作流中所传输数据的数据空间信息；对于每种工作流，确定工作流所包含的各个数据域和所流经的采集处理模块所提供的接口的接口信息；对于每个采集处理模块，使用标准化封装后的标准接口将各个流处理节点和跨模块接口节点进行连接，并将得到的模块设计文件部署至采集处理模块中，以完成数据获取系统的构建。本发明使用流处理节点构建数据获取系统，无需对每个功能模块进行设计，降低了构建数据获取系统的难度。

技术领域

本发明涉及数据获取技术领域，特别涉及一种数据获取系统的构建方法及装置。

背景技术

随着科学技术的进步，流数据开始广泛应用在各种领域中，流数据是一组顺序、大量、快速到达的数据序列，一般情况下，数据流可以被视为一个随时间延续而无限增长的动态数据集合。在不同的应用领域以及不同的应用场景，对流数据的获取方式和系统有着巨大的差异。

目前，在不同的应用领域或是不同的应用场景在构建用于获取流数据的数据获取系统时，通常需要根据特定的场景或是领域对系统进行针对性的设计，在设计系统的过程中要求设计人员必须有丰富的专业知识，设计过程复杂，并且设计过程并没有将流处理框架应用于构建数据获取系统，使得设计出的系统中的各种功能模块不具通用性，在调整或是修改数据获取系统时，都需要重新设计数据获取系统中的各种功能模块，由此增加了构建数据获取系统的难度。

发明内容

有鉴于此，本发明提供一种数据获取系统的构建方法及装置，应用本发明，通过使用标准的流处理节点构建数据获取系统，降低了构建数据获取系统的难度，并且本发明可以适用于多种构建数据获取系统的场景，更具有普遍性和便利性。

为实现上述目的，本发明提供如下技术方案：

一种数据获取系统的构建方法，包括：

响应于用户发送的用于构建数据获取系统的构建请求，确定所要构建的数据获取系统中所包含的各个采集处理模块的模块信息和模块互连信息；

根据各个所述采集处理模块的模块信息和模块互连信息，抽象出所述数据获取系统中包含的各种工作流；

基于每种所述工作流的通道数量和工作时间长度，确定每种所述工作流中所传输数据的数据空间信息；

对于每种所述工作流，确定所述工作流的数据处理方式信息以及接口应用信息，所述接口应用信息中包含所述工作流所流经的每个采集处理模块为所述工作流提供的接口的接口信息；基于所述工作流的数据空间信息、所述接口应用信息以及所述数据处理方式信息，确定所述工作流的处理路径中包含的各个数据域，其中，所述数据域为工作流在处理过程中具有相同流数据帧粒度的数据区域，所述数据域的等级随着流数据帧粒度的增大而升高；

对于每种所述工作流，将所述工作流所流经的每个采集处理模块均确定为目标模块，并确定所述工作流的数据域信息，所述数据域信息中包含与所述工作流对应的每个流处理节点所处的数据域的属性信息；基于所述工作流的接口应用信息、数据处理方式信息、数据域信息以及每个所述目标模块的模块信息和模块互连信息，确定与所述工作流对应的每个流处理节点所对应的目标模块，并确定每个所述流处理节点在与其对应的目标模块中的位置信息；

对于每个所述采集处理模块，确定与所述采集处理模块对应的各个流处理节点，基于每个流处理节点的位置信息，生成所述采集处理模块的模块构建信息；

对于每个所述采集处理模块，确定所述采集处理模块的跨模块接口节点，基于所述跨模块接口节点，确定与该采集处理模块存在连接关系的采集处理模块，并将所述采集处理模块与其存在连接关系的采集处理模块相连接；