[发明专利]数据交换调度方法、系统、电子设备、介质及程序产品

说明书

本公开提供了一种数据交换调度方法，可用于金融领域或其他领域，包括：对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息；根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，并根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息；根据依赖实例信息，判断待处理作业是否满足前置作业依赖，若满足，将待处理作业设置为待调度作业并进行调度处理。本公开还提供了一种数据交换调度系统、电子设备、计算机可读存储介质及计算机程序产品。

技术领域

本公开涉及数据处理技术领域，具体涉及一种数据交换调度方法、系统、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着企业业务系统的规模不断扩大，数据交换平台帮助企业内部各系统间快速高效的数据共享减少数据处理环节提升数据处理效率。对于以文件为主要对象的企业级数据交换平台，每天有海量文件需要交换，文件供应方(简称上游)每天下传的文件数量、内容、时间、频次均不相同，而每个文件涉及多个需求方(简称下游)，每个需求方的文件需要不同处理作业进行加工，且各类作业之间执行顺序要求。数据交换调度对每个到达平台的文件匹配对应的加工作业及作业执行链路，然后进行作业调度处理。

目前数据交换作业调度系统的处理方式是采用预先生成作业及作业依赖，以检测到文件到达的方式来触发调度系统调度相关作业，这种方式可以解决减少调度系统中的人力介入，但现有技术存在至少两个问题：1)、作业提前生成的作业无法适配实际变化的交换数据，由于系统涉及较多上游，有一个上游下传的文件名称与定义不同将导致后续作业无法调起，如有上游下传的内容、频次发生变化系统将无法处理。2)、提前生成全量作业将占用大量系统资源应该系统服务可用性。

发明内容

为解决现有技术中存在的问题，本公开的实施例提供的一种数据交换调度方法、系统、电子设备、计算机可读存储介质及计算机程序产品，以实现待处理文件到待处理作业的转换及调度。

本公开的第一个方面提供了一种数据交换调度方法，包括：对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息；根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，并根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息；根据依赖实例信息，判断待处理作业是否满足前置作业依赖，若满足，将待处理作业设置为待调度作业并进行调度处理。

进一步地，对待处理文件进行定义预处理，生成待处理文件的作业定义信息及作业依赖信息，包括：获取多个待处理文件的基础信息；将多个待处理文件的基础信息进行交换需求定义，生成交换信息；读取预置时间内的交换信息，并提取交换信息的关键词字段生成待处理文件的数据定义文件；根据交换信息中每条数据记录的处理方式及作业类型，生成作业定义信息，并根据交换信息中的每条数据记录及作业类型的执行顺序，生成作业依赖信息。

进一步地，根据作业定义信息，将待处理文件进行实例化处理之前，该方法还包括：将数据定义文件中的下传目录信息添加至检测目录表中；对检测目录表中目录信息进行检测是否生成清单校验文件；若是，检测该清单校验文件是否与数据定义文件匹配；若匹配，将数据定义文件添加至加工目录文件，并将检测到的实际文件信息录入源数据信息文件中；若不匹配，将数据定义文件添加至异常加工目录文件。

进一步地，根据作业定义信息，将待处理文件进行实例化处理，得到待处理文件的作业实例，包括：将源数据信息文件中记录的待处理文件与作业定义信息和数据定义文件进行匹配，并进行替换宏转换为实例作业，得到待处理文件的作业实例。

进一步地，根据作业依赖信息及作业实例，生成待处理作业的依赖实例信息，包括：根据作业实例文件中的作业名称与作业依赖信息中的后置作业名称，生成待处理作业的依赖实例信息。

进一步地，判断待处理作业是否满足前置作业依赖，包括：判断待处理作业是否存在前置作业依赖；若不存在，将待处理作业设置为待调度作业；若存在，判断前置作业是否已处理，若前置作业已处理，将待处理作业设置为待调度作业。