[发明专利]路由方法及装置、电子设备和计算机可读存储介质

说明书

本公开提供了一种路由方法及装置、电子设备和计算机可读存储介质，本公开可用于大数据技术领域，也可用于金融技术领域。本公开的路由方法，包括：依次读取多个待处理文件，其中待处理文件中包括第一类型路由字段；判断当前待处理文件是否为目标待处理文件；在当前待处理文件是目标待处理文件的情况下，根据与目标待处理文件对应的目标第一类型路由字段，生成与目标待处理文件对应的目标第二类型路由字段，以便根据目标第二类型路由字段和路由算法，将目标待处理文件路由至第二文件系统中的目标数据库；以及在当前待处理文件不是目标待处理文件的情况下，丢弃当前待处理文件。

技术领域

本公开涉及大数据技术领域，更具体地，涉及一种路由方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

随着信息化时代的到来，分布式系统广泛应用在各种业务处理场景中，分布式平台系统采用的是分库分表分片的形式进行数据加工处理及存储，数据落库过程中，通常依据路由字段决定数据应该落地到哪个数据库中。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，由于不同业务系统进行数据路由时依据的路由字段类型可能不同，在不同业务之间进行数据交互的过程中，可能存在在数据路由过程中数据文件不携带本系统使用的路由字段的情况，在这种情况下如何进行数据路由，是亟待解决的问题。

发明内容

有鉴于此，本公开提供了一种路由方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

本公开的一个方面提供了一种路由方法，包括：

依次读取多个待处理文件，其中待处理文件中包括第一类型路由字段，第一类型路由字段为在第一文件系统中，将待处理文件进行数据路由时依据的路由字段类型；

判断当前待处理文件是否为目标待处理文件；

在当前待处理文件是目标待处理文件的情况下，根据与目标待处理文件对应的目标第一类型路由字段，生成与目标待处理文件对应的目标第二类型路由字段，以便根据目标第二类型路由字段和路由算法，将目标待处理文件路由至第二文件系统中的目标数据库，其中第二类型路由字段为在第二文件系统中，将待处理文件进行数据路由时依据的路由字段类型；以及

在当前待处理文件不是目标待处理文件的情况下，丢弃当前待处理文件。

根据本公开的实施例，其中，多个待处理文件为在预处理服务器中对原始批量文件中的每个文件分别按次序编号后获得的文件，每个待处理文件包含一个顺序编号，当前待处理文件包含当前顺序编号。

判断当前待处理文件是否为目标待处理文件包括：根据当前顺序编号和预设判断规则，判断当前待处理文件是否为目标待处理文件。

根据本公开的实施例，其中，预设判断规则采用取模判断规则；

根据当前顺序编号和判断规则，判断当前待处理文件是否为目标待处理文件包括：将当前顺序编号对节点数进行取模，以获得当前模值，其中节点数为第二文件系统中的处理服务器的数量，每个处理服务器通过节点序号进行标识；以及将当前模值与节点序号匹配的当前待处理文件确定为目标待处理文件。

根据本公开的实施例，其中，根据与目标待处理文件对应的目标第一类型路由字段，生成与目标待处理文件对应的目标第二类型路由字段包括：根据目标第一类型路由字段和预设生成规则生成目标第二类型路由字段，其中预设生成规则用于表征第一类型路由字段和第二类型路由字段的对应关系。

根据本公开的实施例，其中，第一类型路由字段和第二类型路由字段的对应关系为：第二类型路由字段＝第一类型路由字段+辅助字段，其中辅助字段包括时间信息字段和随机数字段。