[发明专利]一种数据清洗的路由方法、装置、设备及存储介质

说明书

本发明涉及数据清洗的路由方法、装置、设备及存储介质，属于数据清洗技术领域。本发明包括：根据用户需求为待清洗数据配置对应的路由模型；路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；根据路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；根据当前节点的数据内容，为当前节点配置至少一个相应的清洗模板；对每个节点，根据节点对应的清洗模板和清洗方式，对节点进行数据清洗，得到清洗结果，并将满足预设条件的清洗结果发送至与该节点有依赖关系的下级节点，有助于帮助解决快递业务数据在链路流转的过程中出现异常时，使用这些异常数据继续流转造成的影响分析结果的准确性的问题。

技术领域

本发明属于数据清洗技术领域，具体涉及数据清洗的路由方法、装置、设备及存储介质。

背景技术

在快递业务数据的日常清洗过程中，存在数据异常、数据丢失的现象，比如快件的收寄件人省市区地址、所属网点、客户资料、费用明细等关键信息，导致快递业务数据在链路流转的过程中出现异常。由于快递业务数据在链路流转的过程中会经过很多相互依赖的节点，并且不同的分析需求所需要的数据流经的节点也不相同，例如，所属网点信息这一节点的数据依赖收寄件人省市区信息这一节点的数据清洗，账单明细这一节点的数据依赖费用明细信息这一节点的数据清洗，当数据出现异常时，使用这些数据进行继续流转分析，就会影响分析结果。因此，有必要针对快递业务数据进行合规清洗，确保清洗后的数据进入链路流转，提高数据分析的准确性。

发明内容

为此，本发明提供一种数据清洗的路由方法、装置、设备及存储介质，有助于帮助解决由于快递业务数据在链路流转的过程中会经过很多相互依赖的节点，当数据出现异常时，使用这些异常数据继续流转造成的影响分析结果的准确性的问题。

为实现以上目的，本发明采用如下技术方案：

第一方面，本发明提供一种数据清洗的路由方法，其特征在于，包括：

根据用户需求为待清洗数据配置对应的路由模型；所述路由模型包括多个节点，每个节点记载有当前节点的数据内容和当前节点与其他节点之间的依赖关系；

根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式；

根据所述当前节点的数据内容，为所述当前节点配置至少一个相应的清洗模板；

对每个节点，根据所述节点对应的清洗模板和清洗方式，对所述节点进行数据清洗，得到清洗结果，并将满足预设条件的所述清洗结果发送至与该节点有依赖关系的下级节点。

优选地，所述根据所述路由模型中节点之间的依赖关系，确定当前节点对应的清洗方式，包括：

根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步；

根据所述当前节点的属性，确定对应的清洗方式。

优选地，所述根据所述路由模型中节点之间的依赖关系，确定所述当前节点的属性为同步或异步，包括：

根据所述路由模型中各节点之间的依赖关系，判断当前节点是否依赖于其他节点，若所述当前节点未依赖于其他节点，确定所述当前节点的属性为同步；

判断所述当前节点是否与其他节点依赖于同一节点，若所述当前节点与其他节点依赖于同一节点，确定所述当前节点的属性为异步；若所述当前节点未与其他节点依赖于同一节点，且所述当前节点所依赖的上级节点的属性为同步，确定所述当前节点的属性为同步或异步。

优选地，所述根据所述当前节点的属性，确定对应的清洗方式，包括：

若所述当前节点的属性为异步，将所述当前节点移交至消息队列进行数据清洗；

若所述当前节点的属性为同步，直接对所述当前节点进行数据清洗。