[发明专利]基于数据管道和安全沙箱的ETL方法、装置、设备和介质

摘要

本发明提供一种基于数据管道和安全沙箱的ETL方法、装置、设备和介质，方法包括：启动执行器接收前端的任务报文信息，并提取出各阶段的组件编码分别实例化出各阶段组件，通过无锁的内存队列构建各阶段组件之间的数据管道，从而构建ETL拓扑实例，启动数据采集，数据通过数据管道传输，实现中间数据不落地，且数据边生产边消费；其中，各阶段组件是独立且可复用的组件，并能按业务场景自由对接；数据的结构为经过封装改造的数组；其中类加载是采用扩展的双亲委派模型进行，使所述执行器各各阶段组件运行在各自独立的安全沙箱中。从而解决了目前ETL采集方案中传输速度小，性能损失大，组件和业务强相关，以及双亲委派模型存在的包冲突缺陷问题。