[发明专利]分布式预处理方法和系统

说明书

技术领域

本发明涉及计算机领域中分布式系统，具体地，涉及分布式预处理的方法及系统。

背景技术

现有分布式数据加载、预处理系统的逻辑架构包括：

Source节点(即源节点)：部署在数据源侧，封装待加载数据源，将数据源中的数据发送给Dest节点；

Dest节点(即目的节点)：部署在存储侧，接收来自Source节点的数据，导入到后端的存储中；

Process节点：在Dest节点将数据存储之前，可以引入多个Process节点，对数据进行一些预处理，如过滤、转换等。Process节点在物理上可以和Dest节点共用一个节点。

目前分布式数据加载、预处理系统的预处理工作，主要通过人工干预配置Process节点的方式。如果需要对数据进行多步预处理，则需要引入多个Process节点，每个Process节点处理后会将数据落地存入临时存储空间，下一个Process节点再从临时存储空间读取数据进行处理。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

首先，采用静态、硬编码的方式，一旦设置好就不能动态修改，更新、升级预处理过程比较繁琐，需要增加或更新Process节点及其配置；

其次，多个预处理过程中间结果还需要临时存储，浪费系统读写IO，造成性能降低。

发明内容

本发明的目的是针对现有技术中分布式系统预处理效率较低的缺陷，提出一种分布式预处理的方法及系统。

为实现上述目的，根据本发明的一个方面，提供了一种分布式预处理的方法。

根据本发明实施例的分布式预处理方法，包括：

处理节点接收自源节点发送的数据；

管理模块根据处理节点的不同需求配置执行模块的种类和执行顺序；

处理节点调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作。

在上述技术方案中，在预处理操作的步骤之后还包括：执行模块集合将预处理中间结果置于内存中存储。

在上述技术方案中，管理模块在与相同目的节点对应的多个处理节点中配置相同的执行模块进行预处理操作。

在上述技术方案中，方法还包括：

管理模块收集各处理节点在对数据进行预处理时的进程状态；

如果处理节点在对数据进行预处理时存在进程不一致的状态，管理模块则将所有处理节点回滚到未处理状态，在确认所有处理节点完成更新后，再同时启动所有处理节点进行预处理操作；

如果处理节点在对数据进行预处理时，存在部分处理节点已启动，其它节点未启动的状态，管理模块将未启动的处理节点暂停，将已启动的处理节点回滚到未处理状态，在确认所有处理节点完成更新后，再同时启动所有处理节点进行预处理操作。在上述技术方案中，方法还包括：

执行模块集合完成执行模块执行环境的初始化、模块接口检查、模块加载和卸载、执行的操作。

在上述技术方案中，方法还包括：

执行模块集合按照配置分配内存，并将待处理的数据保存在内存中；

执行模块集合将内存指针作为参数传递给执行模块，执行模块分配所需内存并将预处理中间结果保存在内存中；

执行模块集合在所述内存中的预处理中间结果被调用后，释放内存。

为实现上述目的，根据本发明的另一个方面，提供了一种分布式预处理系统。

根据本发明实施例的分布式预处理系统，包括：

处理节点，用于接收自源节点发送的数据，调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作；

管理模块，用于根据处理节点的不同需求配置执行模块的种类和执行顺序。

在上述技术方案中，执行模块集合，用于将预处理中间结果置于内存中存储。

在上述技术方案中，管理模块，还用于在与相同目的节点对应的多个处理节点中配置相同的执行模块进行预处理操作。

在上述技术方案中，管理模块，用于收集各处理节点在对数据进行预处理时的进程状态，根据进程状态，对处理节点进行状态处理；

管理模块包括：

状态收集子模块，用于收集各处理节点在对数据进行预处理时的进程状态；

状态处理子模块，用于根据处理节点在对数据进行预处理时的进程状态，对处理节点进行状态处理：