[发明专利]一种数据清洗的路由方法、装置、设备及存储介质

权利要求书

1.一种数据清洗的路由方法，其特征在于，包括：

根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；

根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；

根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板；

对每个节点，根据所述节点对应的清洗模板和清洗方式，对所述节点进行数据清洗，得到清洗结果，并将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点。

2.根据权利要求1所述的方法，其特征在于，所述根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式，包括：

根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步；

根据所述当前节点的属性，确定对应的清洗方式。

3.根据权利要求2所述的方法，其特征在于，所述根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步，包括：

根据所述路由模型中各节点之间的依赖关系，判断当前节点是否依赖于其他节点，若所述当前节点未依赖于其他节点，确定所述当前节点的属性为同步；

判断所述当前节点是否与其他节点依赖于同一节点，若所述当前节点与其他节点依赖于同一节点，确定所述当前节点的属性为异步；若所述当前节点未与其他节点依赖于同一节点，且所述当前节点所依赖的上级节点的属性为同步，确定所述当前节点的属性为同步或异步。

4.根据权利要求2所述的方法，其特征在于，所述根据所述当前节点的属性，确定对应的清洗方式，包括：

若所述当前节点的属性为异步，将所述当前节点移交至消息队列进行数据清洗；

若所述当前节点的属性为同步，直接对所述当前节点进行数据清洗。

5.根据权利要求1所述的方法，其特征在于，所述根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板，包括：

根据所述当前节点的数据内容，确认所述当前节点的至少一个数据清洗规则；

根据所述当前节点的数据清洗规则，为所述当前节点配置相应的清洗模板。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所有节点之间的依赖关系，为每个节点配置对应优先级别的处理器，并按照处理器的优先级别对所有节点进行排序；

按照所有节点的排列顺序，根据对应的清洗模板和清洗方式，依次对每个节点进行数据清洗。

7.根据权利要求1所述的方法，其特征在于，所述将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点，包括：

若所述节点成功清洗完成，且存在依赖于该节点的下级节点，确定该节点满足预设条件；更改该节点的处理状态为清洗成功，并将所述清洗结果发送至与该节点有依赖关系的下级节点；

若所述节点清洗异常，确定该节点不满足预设条件，更改该节点的处理状态为清洗失败，并将该节点加入异常队列，进行预警和重试处理。

8.一种数据清洗的路由装置，其特征在于，所述装置包括：

路由模型构建模块，用于根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；

清洗方式设置模块，用于根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；

清洗模板配置模块，用于根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板；

数据清洗模块，用于对每个节点，根据所述节点对应的清洗模板和清洗方式，对所述节点进行数据清洗，得到清洗结果，并将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点。