[发明专利]分布式预处理方法和系统

权利要求书

1.一种分布式预处理方法，其特征在于，包括：

处理节点接收自源节点发送的数据；

管理模块根据所述处理节点的不同需求配置执行模块的种类和执行顺序；

所述处理节点调用自身部署的由所述管理模块配置的包含有多个执行模块的执行模块集合对接收的所述数据进行预处理操作。

2.根据权利要求1所述的方法，其特征在于，在预处理操作的步骤之后还包括：所述执行模块集合将预处理中间结果置于内存中存储。

3.根据权利要求1所述的方法，其特征在于，所述管理模块在与相同目的节点对应的多个处理节点中配置相同的执行模块进行预处理操作。

4.根据权利要求1所述的方法，其特征在于，还包括：

所述管理模块收集各处理节点在对数据进行预处理时的进程状态；

如果处理节点在对数据进行预处理时存在进程不一致的状态，所述管理模块则将所有处理节点回滚到未处理状态，在确认所有处理节点完成更新后，再同时启动所有处理节点进行预处理操作；

如果处理节点在对数据进行预处理时，存在部分处理节点已启动，其它节点未启动的状态，所述管理模块将未启动的处理节点暂停，将已启动的处理节点回滚到未处理状态，在确认所有处理节点完成更新后，再同时启动所有处理节点进行预处理操作。

5.根据权利要求1所述的方法，其特征在于，还包括：

所述执行模块集合完成执行模块执行环境的初始化、模块接口检查、模块加载和卸载、执行的操作。

6.根据权利要求1所述的方法，其特征在于，还包括：

所述执行模块集合按照配置分配内存，并将待处理的数据保存在内存中；

所述执行模块集合将内存指针作为参数传递给执行模块，执行模块完成既定处理逻辑，并将预处理中间结果保存在从执行模块集合申请的内存中；

所述执行模块集合在所述内存中的预处理中间结果被调用后，释放内存。

7.一种分布式预处理系统，其特征在于，包括：

处理节点，用于接收自源节点发送的数据，调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的所述数据进行预处理操作；

管理模块，用于根据所述处理节点的不同需求配置执行模块的种类和执行顺序。

8.根据权利要求7所述的系统，其特征在于，所述执行模块集合，用于将预处理中间结果置于内存中存储。

9.根据权利要求7所述的系统，其特征在于，所述管理模块，还用于在与相同目的节点对应的多个处理节点中配置相同的执行模块进行预处理操作。

10.根据权利要求7所述的系统，其特征在于，

所述管理模块，用于收集各处理节点在对数据进行预处理时的进程状态，根据所述进程状态，对所述处理节点进行状态处理；

所述管理模块包括：

状态收集子模块，用于收集各处理节点在对数据进行预处理时的进程状态；

状态处理子模块，用于根据处理节点在对数据进行预处理时的进程状态，对所述处理节点进行状态处理：

如果处理节点在对数据进行预处理时存在进程不一致的状态，将所有处理节点回滚到未处理状态，在确认所有处理节点完成更新后，再同时启动所有处理节点进行预处理操作；

如果处理节点在对数据进行预处理时，存在部分处理节点已启动，其它节点未启动的状态，将未启动的处理节点暂停，将已启动的处理节点回滚到未处理状态，在确认所有处理节点完成更新后，再同时启动所有处理节点进行预处理操作。

11.根据权利要求7所述的系统，其特征在于，所述执行模块集合包括：初始化子模块，用于完成执行模块执行环境的初始化、模块接口检查、模块加载和卸载、执行的操作。

12.根据权利要求7所述的系统，其特征在于，所述执行模块集合包括：内存管理子模块，用于按照配置分配内存，并将待处理的数据保存在内存中，将内存指针作为参数传递给执行模块，在所述内存中的预处理中间结果被调用后，释放内存；

所述执行模块，用于完成既定处理逻辑，并将预处理中间结果保存在从执行模块集合申请的内存中。