[发明专利]一种基于Spark分布式环境下的大数据ETL模型执行方法及介质

说明书

本发明提出了一种基于Spark分布式环境下的大数据ETL模型执行方法及介质，主要包括以下步骤：获取ETL分析模型，对其中涉及到的算子进行动态分析，判断是否包含与当前时间有关的算子；判断ETL模型的输出结果表是否全部存在；判断ETL模型的依赖数据表与输出结果表的更新时间之间的先后关系；对以上需要实际执行的ETL模型提交至优先队列。通过对数据集增加字段、记录元信息的方式保证ETL模型并行执行效率，通过对原始数据集特点以及ETL模型的动态分析，完成大数据ETL模型是否需要实际执行的判定，节省了计算资源，提高了分析性能，保障了分析系统的稳定性。

技术领域

本发明属于大数据分析技术领域，具体涉及Spark分布式环境下的大数据ETL模型执行方法及系统。

背景技术

随着互联网快速发展，各行各业积累了大量数据资产，而ETL(Extract-Transform-Load，用来描述将数据从来源端经过抽取、转换、加载至目的端的过程)是对这些数据资产进行分析的第一步。同时随着大数据技术的发展，使得组建包含多台计算机的集群越来越方便、稳定、快捷，因此通过构建计算机集群，利用Spark分布式内存计算框架进行大数据ETL是当下较为前沿的一种技术。由于原始数据量大，ETL算子复杂等因素，一个ETL模型往往需要几分钟至几十分钟的运算时间，如果对所有ETL模型都不加分析地进行计算，可能执行多次模型分析会得到相同的结果，导致计算资源的浪费。

发明内容

针对背景技术中提出的问题，本发明提供了一种Spark分布式环境下的大数据ETL模型执行方法及系统，该方法及系统尤其适用于大数据ETL分析，可节省计算资源。

依据分析数据集的特点，可分为两类数据集，一类是稳定数据集，该类型数据在以小时或者天为单位的时间间隔内是稳定的，不会频繁发生变化；另一类数据集是活跃数据集，以分钟或小时为单位的时间间隔内是活跃的，不断会有新的数据记录添加至分析数据集内。而ETL模型是定时执行的，按照预设的时间点自动提交运行，因此会在一定时间周期内多次执行ETL模型。

基于上述特点，本发明提供了Spark分布式环境下的大数据ETL模型执行方法，步骤如下：

步骤1，本步骤为预处理步骤，包括对所有输入数据分别自动增加sparkid列，所增加sparkid列的字段类型为int 64，存储分区信息，该字段可支持的数据量约为9.2*10¹⁸，基本能够满足普通大数据分析。且该字段自增长，即每插入分析数据库一条数据，该插入的数据会额外增加一个自增的int字段，用于后续Spark并行读取。同时根据输入数据构造该数据的数据总量、sparkid上下限、数据更新时间等元信息，元信息随数据更新而更新。如车辆轨迹表，每月1000W数据量，则自动为该表增加sparkid列，从1-1000w自增，在进行ETL分析时，根据sparkid列分区读取，将数据分为1-100w，100w-200w…900w-1000w，加快读取效率。

步骤2，从分析数据库获取已创建的ETL模型，对ETL模型进行步骤分解，将ETL模型分解为原始算子，判断原始算子是否包含与当前时间有关的算子，如果有，则提交ETL模型至模型执行的优先队列中；如果没有则进行步骤3；算子与当前时间有关即意味着每次执行得到的结果都可能不同，有必要实际进行计算；例如筛选条件为最近3天内，则在执行ETL模型时，需要根据当前时间做动态判定，当前时间为2019-7-1022:00:00，则筛选的数据为2019-7-722:00:00至2019-7-1022:00:00；当前时间为2019-7-3012:00:00，则筛选的数据为2019-7-2712:00:00至2019-7-3012:00:00。