[发明专利]ETL任务依赖关系的检测方法、装置及ETL工具

摘要

本申请公开了一种ETL任务依赖关系的检测方法和装置，所述方法包括：针对ETL的每一个任务，获取任务包括的数据操作指令；解析数据操作指令，获取任务相关的源表和目标表；根据目标表、任务属性表和任务依赖关系配置表，获取目标表直接依赖的源表和间接依赖的源表；遍历任务相关的源表、直接依赖的源表和间接依赖的源表，采用预设的规则标识与任务相关的各个任务依赖关系的错误类型和可优化类型。采用本申请提供的方法，通过将实际的任务依赖关系和预期的任务依赖关系按预定规则进行比对，自动发现错误和可优化的任务依赖关系，从而减少任务依赖问题导致的故障发生频率，节约测试人员手动排查任务依赖问题的时间，达到提高测试效率的效果。

主权项

1.一种ETL任务依赖关系的检测方法，其特征在于，包括：针对ETL的每一个任务，获取所述任务包括的数据操作指令；将所述数据操作指令插入到数据库内部表；根据所述数据操作指令和任务属性表，生成源表对应关系集合和目标表对应关系集合，将所述源表对应关系集合作为第一源表对应关系集合；根据所述目标表对应关系集合、所述任务属性表和任务依赖关系配置表，生成目标表直接依赖的源表对应关系集合和目标表间接依赖的源表对应关系集合，将所述目标表直接依赖的源表对应关系集合作为第二源表对应关系集合，将所述目标表间接依赖的源表对应关系集合作为第三源表对应关系集合；遍历所述第一源表对应关系集合、所述第二源表对应关系集合和所述第三源表对应关系集合的各个源表，采用预设的规则，标识与所述任务相关的各个任务依赖关系的错误类型和可优化类型的至少一者；其中，所述第一源表对应关系集合包括所述任务依赖的各个源表的表名和源表的任务号之间的对应关系；所述目标表对应关系集合包括所述任务中去除临时目标表后的各个目标表的表名和目标表的任务号之间的对应关系；所述第二源表对应关系集合包括所述目标表对应关系集合中的目标表直接依赖的各个源表的表名和源表的任务号之间的对应关系；所述第三源表对应关系集合包括所述目标表对应关系集合中的目标表间接依赖的各个源表的表名和源表的任务号之间的对应关系。